《Language Models are Few-Shot Learners》

    论文对GPT-3（一个拥有1750亿参数的自回归语言模型）进行研究，它探讨了GPT-3在不同设置下的性能，特别是在少量样本学习（few-shot learning）场景中的表现。通过扩大语言模型的规模，GPT-3在许多自然语言处理（NLP）数据集上展现出了强大的性能，有时甚至能够与之前的最佳微调（fine-tuning）方法相媲美。在没有梯度更新或微调的情况下，仅通过文本交互来指定任务和少量样本演示，就能在多种任务上表现出色。

    GPT-3使用了与GPT-2相同的模型和架构，但在transformer层中使用了交替的密集和局部带状稀疏注意力模式。训练数据集包括过滤后的CommonCrawl数据、去重文档以及高质量的参考语料库。训练过程涉及到模型并行和大批量数据的处理，以及对梯度噪声的测量。

    最后对GPT-3在多种NLP任务上进行了评估，包括语言建模、完形填空和问答任务。在一些任务上达到了新的最先进性能，例如在PTB数据集上设置了新的最先进性能标准。在文本合成、避免重复、保持连贯性以及避免非连贯句子或段落等方面仍有局限性。

原文引用：