论文对关于ChatGPT与微调BERT模型在自然语言理解（NLU）任务中表现进行了比较研究。ChatGPT因其流畅和高质量的回答而受到关注。以往的研究显示ChatGPT在文本生成任务上表现出色，但其在NLU任务上的理解能力尚未得到充分分析。通过在GLUE基准测试上的评估，比较ChatGPT与4个代表性的微调BERT模型的性能差异，探索ChatGPT的理解能力。
通过测试发现ChatGPT在处理释义和相似性任务时表现不佳。但在推理任务上，ChatGPT大幅超越所有BERT模型，显示出其卓越的推理能力。论文研发还发现通过结合一些先进的提示策略（如标准少样本提示、手动少样本思维链提示和零样本思维链提示），可以进一步提升ChatGPT的理解能力。使用先进提示策略后，ChatGPT在某些NLU任务上甚至超过了强大的RoBERTa-large模型，但在平均性能上仍与微调的RoBERTa-large有差距。
原文引用：
