新加坡留学生提出AI分析框架，推动大模型推理能力提升

关键字：大语言模型（LLMs） 思维链（Chain of Thought） 思维树（Tree of Thought） 样本复杂度 计算复杂度 推理能力提升 新加坡国立大学 康力伟 赵子瑞 arXiv发表论文

    新加坡国立大学的两名博士生康力伟和赵子瑞，近期提出了一种创新的AI分析框架，旨在助力提升大型语言模型（LLMs）的推理能力。他们的研究集中在思维链（Chain of Thought）和思维树（Tree of Thought）技术上，这两项技术已被证明能显著提高模型在复杂逻辑推理任务中的表现。

    这项研究的核心在于将机器学习理论中的样本复杂度和计算复杂度概念应用于分析思维链和思维树的使用效果。通过这一框架，研究团队分析了四个不同任务，并提出了有关提示词构建和推理方法选择的建议。

康力伟和赵子瑞发现，思维链通过将复杂问题分解为简单步骤，有效降低了推理模型的描述长度，从而减少了所需的训练数据量。例如，在解答数学问题时，思维链模型不仅提供了正确答案，还展示了解题过程，这有助于降低样本复杂度并提升模型的学习效率。

此外，研究还指出，不同思维链提示词的描述长度对模型性能有显著影响，因此在设计提示词时，应考虑减少描述长度。实验表明，在GSM8K数学题数据集上，使用思维链形式的推理，即使训练数据量减少到原来的十分之一，也能获得比直接回答形式更高的准确率。

从计算复杂度的角度来看，研究团队发现，思维树相比于思维链在某些任务上只有有限的提升。这表明，选择推理方式时，应根据任务的计算复杂度来决定。例如，数学问题更适合思维链推理，而需要反复试错的问题则更适合思维树推理。

主要技术点：

1. 提出基于样本复杂度和计算复杂度的AI分析框架。

2. 思维链技术通过分解问题降低模型描述长度和样本复杂度。

3. 思维树技术在某些任务上相对于思维链有有限的提升。

4. 根据任务的计算复杂度选择合适的推理算法。

5. 实验证明，思维链形式的推理在减少训练数据量的同时能保持高准确率。

   
   

这项研究的相关论文《论LLMs中推理和规划的经验复杂性》已在arXiv上发表，审稿人对其创新性给予了高度评价，并认为这种分析框架将为大语言模型的设计和使用提供重要指导，有助于进一步提升模型在各类推理任务上的能力。研究团队计划将这一分析框架应用于更多领域的大语言模型任务，以拓宽其适用范围。