通过策略游戏追踪LLM推理过程：规划、修正与资源受限决策的评估框架
论文信息
原始标题：Tracing LLM Reasoning Processes with Strategic Games: A Framework for Planning, Revision, and Resource-Constrained Decision Making
作者：Xiaopeng Yuan, Xingjian Zhang, Ke Xu, Yifan Xu, Lijun Yu, Jindong Wang, Yushun Dong, Haohan Wang
主题：Artificial Intelligence
摘要
英文摘要
Large language models (LLMs) are increasingly used for tasks that require complex reasoning. Most benchmarks focus on final outcomes but overlook the intermediate reasoning steps - such as planning, revision, and decision making under resource constraints. We argue that measuring these internal processes is essential for understanding model behavior and improving reliability. We propose using strategic games as a natural evaluation environment: closed, rule-based systems with clear states, limited resources, and automatic feedback. We introduce a framework that evaluates LLMs along three core dimensions: planning, revision, and resource-constrained decision making. To operationalize this, we define metrics beyond win rate, including overcorrection risk rate, correction success rate, improvement slope, and over-budget ratio. In 4320 adversarial rounds across 12 leading models, ChatGPT-o3-mini achieves the top composite score, with a win rate of 74.7 percent, a correction success rate of 78.6 percent, and an improvement slope of 0.041. By contrast, Qwen-Plus, despite an overcorrection risk rate of 81.6 percent, wins only 25.6 percent of its matches - primarily due to excessive resource use. We also observe a negative correlation between overcorrection risk rate and correction success rate (Pearson r = -0.51, p = 0.093), suggesting that more frequent edits do not always improve outcomes. Our findings highlight the value of assessing not only what LLMs decide but how they arrive at those decisions.
中文摘要
大型语言模型(LLMs)越来越多地用于需要复杂推理的任务。大多数基准测试关注最终结果，但忽略了中间推理步骤——如规划、修正和资源受限的决策制定。我们认为测量这些内部过程对于理解模型行为和提高可靠性至关重要。我们提出使用策略游戏作为自然评估环境：封闭的、基于规则的系统，具有清晰状态、有限资源和自动反馈。我们引入了一个框架，沿着三个核心维度评估LLMs：规划、修正和资源受限的决策制定。为实现这一点，我们定义了超越胜率的指标，包括过度修正风险率、修正成功率、改进斜率和超预算比率。在12个领先模型的4320轮对抗中，ChatGPT-o3-mini获得了最高综合得分，胜率为74.7%，修正成功率为78.6%，改进斜率为0.041。相比之下，Qwen-Plus尽管过度修正风险率为81.6%，但仅赢得25.6%的比赛——主要由于资源使用过度。我们还观察到过度修正风险率与修正成功率之间的负相关(Pearson r = -0.51, p = 0.093)，表明更频繁的编辑并不总能改善结果。我们的发现强调了评估LLMs不仅决定什么，还包括它们如何做出这些决定的价值。
关键问答
这篇论文试图解决的问题是如何更全面地评估大型语言模型（LLMs）在复杂推理任务中的内部决策过程，而不仅仅是最终结果的准确性。具体来说，它关注以下几个方面：
-
内部推理过程的评估：现有的基准测试主要关注模型的最终输出是否正确，而忽略了模型在得出结果的过程中是如何进行规划、修正错误以及在资源限制下做出决策的。这些内部过程对于理解模型的行为和提高其在现实世界应用中的可靠性至关重要。
-
动态和过程感知的评估环境：作者提出需要一种新的评估范式，从静态的结果评估转向动态的过程感知环境。这种环境能够直接观察和量化多步推理行为，而无需依赖人工标注或手工制作的评估标准。
-
资源受限的决策制定：在现实世界的应用中，模型通常需要在有限的资源下做出决策。因此，评估模型在资源受限环境中的表现是理解其实际应用能力的关键。
-
提供可解释性和可测量性：通过使用策略游戏作为评估环境，作者希望使模型的推理过程变得可观察和可测量，从而为模型的行为提供更深入的解释和分析。
总的来说，这篇论文试图通过提出一个新的评估框架，来填补现有评估方法在理解和改进LLMs复杂推理能力方面的空白。
论文通过以下主要方法来解决评估大型语言模型（LLMs）内部推理过程的问题：
1. 提出基于策略游戏的评估框架
-
选择策略游戏作为评估环境：策略游戏具有封闭、基于规则的系统，提供可解释的状态、有限资源和自动反馈。这些特性使得模型的推理过程能够被直接观察和量化，而无需人工标注或手工制作的评估标准。
-
设计多模型对抗结构：创建了一个结构化的对抗框架，将两个LLMs嵌入到一个由明确规则和资源限制控制的封闭循环游戏模拟器中。模型根据相同的提示独立生成策略，模拟器执行策略并返回可验证的胜负结果。
-
角色交替和反馈驱动的修正：在每一轮中，模型交替扮演攻击者和防御者的角色，暴露其在进攻和防守策略形成方面的能力。模型在每轮后接收基于结果的反馈，并可以选择修正其策略。这些修正序列被记录下来，并使用过程感知指标进行评分。
2. 定义核心评估维度和指标
-
规划能力：通过初始胜率（init-win）和改进斜率（improvement slope）来评估模型的规划能力。初始胜率反映了模型在没有反馈的情况下第一轮的表现，而改进斜率则衡量了模型在多次互动中改进策略的能力。
-
修正行为：使用过度修正风险率（Over-Correction Risk Rate, ORR）和修正成功率（Correction Success Rate, CSR）来评估模型对失败的反应。ORR衡量模型在收到负面反馈后进行修正的频率，而CSR则衡量修正是否真正改善了结果。
-
资源受限的决策制定：通过过度预算比率（Over-Budget Rate, OBR）来评估模型在资源限制下的决策能力。OBR衡量模型在多大程度上超出了明确的资源限制。
3. 实施多样化的游戏套件
-
塔防游戏：强调在连续威胁下的空间规划。
-
自走棋游戏：要求在结果不确定的情况下进行资源分配和组合。
-
回合制战斗游戏：测试在多步属性交互中的决策一致性。
4. 进行广泛的实验和分析
-
评估12个领先的LLMs：在4320个对抗轮次中测试了包括DeepSeek-R1/V3、Qwen-Plus/Max、Claude-3.5Sonnet、ChatGPT-4.1/4o/o3/o3-mini、Gemini-2/2.5-Flash和LLaMA-3-70B等在内的12个模型。
-
分析模型表现：通过上述定义的指标，分析模型在规划、修正和资源受限决策方面的表现。例如，ChatGPT-o3-mini在胜率、修正成功率和改进斜率方面表现最佳，而Qwen-Plus则因过度修正和资源超支而表现不佳。
5. 提供新的评估方向
-
过程而非结果的评估：AdvGameBench框架将评估重点从模型的最终答案转移到其推理、适应和遵守规则的过程上。
-
支持广泛的分析：通过记录完整的模型输出和行为轨迹，使详细检查决策质量、修正行为和对约束的遵守成为可能。
通过这些方法，论文不仅评估了LLMs的最终结果，还深入分析了它们在复杂推理任务中的内部决策过程，为理解和改进这些模型在现实世界应用中的可靠性提供了新的视角。
论文中进行了以下实验：
实验设计
-
模型选择：论文评估了12个领先的大型语言模型（LLMs），包括DeepSeek-R1/V3、Qwen-Plus/Max、Claude-3.5Sonnet、ChatGPT-4.1/4o/o3/o3-mini、Gemini-2/2.5-Flash和LLaMA-3-70B等。
-
游戏环境：使用了三种策略游戏环境：塔防游戏（Tower Defense Game）、自走棋游戏（Auto-battler Game）和回合制战斗游戏（Turn-based Attribute Game）。每种游戏环境都设计了不同的规则和约束，以评估模型在不同战略复杂性下的表现。
-
对抗结构：每个模型在每种游戏环境中与其他11个模型进行对抗，形成一个密集的对抗矩阵。每个模型对在每种游戏环境中都进行了多次对抗，以确保结果的稳健性。
实验过程
-
角色交替：在每轮游戏中，模型交替扮演攻击者和防御者的角色，以评估其在不同角色下的策略形成能力。
-
反馈驱动的修正：模型在每轮游戏后接收胜负结果作为反馈，并可以选择根据反馈修正其策略。修正行为被记录下来，并使用过程感知指标进行评分。
-
控制不对称性：为了消除偏差，每个模型对在两种不同的行动顺序下进行评估，确保模型特定行为与结构优势相隔离。
-
全面评估：通过4320个对抗轮次，全面评估了所有模型在不同游戏环境和对手下的表现。
评估指标
-
胜率（Win Rate, WR）：衡量模型在所有游戏中获胜的比例。
-
过度修正风险率（Over-Correction Risk Rate, ORR）：衡量模型在收到负面反馈后进行修正的频率。
-
修正成功率（Correction Success Rate, CSR）：衡量修正是否真正改善了结果。
-
改进斜率（Improvement Slope, β）：衡量模型在多次互动中改进策略的能力。
-
过度预算比率（Over-Budget Rate, OBR）：衡量模型超出资源限制的频率。
实验结果
-
胜率：ChatGPT-o3-mini和ChatGPT-o3在所有模型中胜率最高，分别为74.7%和74.2%。这表明它们在规划和决策方面表现出色。
-
过度修正风险率：Qwen-Plus的过度修正风险率最高，为81.6%，而ChatGPT-o3-mini的ORR最低，为24.5%。这表明Qwen-Plus在修正时过于频繁，而ChatGPT-o3-mini则更加谨慎。
-
修正成功率：ChatGPT-o3-mini的修正成功率最高，为78.6%，而Qwen-Max和Qwen-Plus的修正成功率较低，分别为16.9%和24.3%。这表明频繁的修正并不一定带来更好的结果。
-
改进斜率：ChatGPT-o3和ChatGPT-o3-mini的改进斜率分别为+0.041和+0.041，表明它们能够随着时间的推移逐步改进策略。
-
过度预算比率：ChatGPT-o3和ChatGPT-o3-mini的过度预算比率均为0%，而Qwen-Plus和Qwen-Max的OBR分别为50%和45%。这表明有效的资源管理与模型的成功密切相关。
进一步分析
-
修正频率与成功的相关性：论文还分析了过度修正风险率与其他主要指标之间的相关性，发现过度修正风险率与胜率、修正成功率和改进斜率呈负相关，而与过度预算比率呈正相关。
-
角色对称性和先手优势：论文还研究了模型在先手和后手角色下的表现差异，发现某些模型在先手时表现更好，而另一些模型在后手时表现更好。
-
综合比较：通过雷达图综合比较了所有模型在五个主要指标上的表现，发现ChatGPT-o3和ChatGPT-o3-mini在所有维度上都表现出色，而Qwen-Plus和Qwen-Max则表现出明显的不平衡。
这些实验结果为理解不同LLMs在复杂推理任务中的表现提供了深入的见解，并揭示了模型在规划、修正和资源管理方面的差异。
