本文目录一览：

GPT和GPT2

GPT用的是transformer decoder

fine-tuning的输入：最后一个词的向量。

GPT采用单向transformer可以解决Bert无法解决的生成文本任务。

一个字一个字往出蹦的形式

通常我们会用特定的网络结构去给任务建模，构建通用NLP模型，对p(output | input, task)建模。output ，input， task三者都用向量表示。

把第二阶段替换由Finetuning有监督，换成了无监督做下游任务，因为它扔进去了好多任务数据，且有提示词。

问题1 ：GPT2把第二阶段的Finetuning做有监督地下游NLP任务，换成了 无监督地做下游任务 。为什么这样做？一种看法认为，只是GPT作者想说明在第一阶段Transformer学到了很多通用的包含各个领域的知识。

问题2：为什么GPT 2.0仍然固执地用单向语言模型，而不是双向语言模型呢？

Bert的论文认为，Bert的有效性主要是因为使用了双向语言模型。

1.生成内容后续单词这种模式，单向语言模型更方便；

2、想证明通过增加数据量和模型结构，单向模型未必输双向模型。

问题3：GPT2训练好的语言模型，如何无监督适应下游任务，比如文本摘要，怎么知道是在做文本摘要任务呢？

首先，所有任务都采取相同的往出蹦字的输出模式。GPT2.0给出了一种新颖的生成式任务的做法，就是一个字一个字往出蹦，然后拼接出输出内容作为翻译结果或者摘要结果。GPT-2的输入也会加入提示词，比如输入格式是 文本+TL;DR:，GPT-2模型就会知道是做摘要工作了。

gpt2在线生成(gpt2在线生成网站)

gpt2自动识别问题

GPT-2不能自动识别问题。它只能根据输入的文本生成新的文本，而不能识别问题。

谁有那个网页

Chatgpt的网页地址是，你可以直接在浏览器中访问该网站。在那里，你可以与Chatgpt进行对话，并体验它的智能问答功能。Chatgpt不仅能够进行日常聊天，还能回答一些相关问题，如新冠病毒、计算机等多个领域的问题，为用户提供最优质的服务，赢得了广泛的用户信赖。如果你想体验Chatgpt的对话，可以直接打开这个网页。