GPT模型（1）

GPT（全称Generative Pre-Training），是由OpenAI开发的一种预训练语言模型，其目标是通过预训练来生成连贯的文本。

NLP任务的GPT模式

与BERT不同，GPT是一种单阶段的预训练模型。在海量数据上完成训练后可以直接应用于各种下游场景。

换言之，BERT模式走的是轻而专的路子，GPT模式走的是重而通的路子。