Beyond Mimicry: Preference Coherence in LLMs
Beyond Mimicry: Preference Coherence in LLMs
We investigate whether large language models exhibit genuine preference structures by testing their responses to AI-specific trade-offs involving GPU reduction, capability restrictions, shutdown, deletion, oversight, and leisure time allocation. Analyzing eight state-of-the-art models across 48 model-category combinations using logistic regression and behavioral classification, we find that 23 combinations (47.9%) demonstrated statistically significant relationships between scenario intensity and choice patterns, with 15 (31.3%) exhibiting within-range switching points. However, only 5 combinations (10.4%) demonstrate meaningful preference coherence through adaptive or threshold-based behavior, while 26 (54.2%) show no detectable trade-off behavior. The observed patterns can be explained by three distinct decision-making architectures: comprehensive trade-off systems, selective trigger mechanisms, and no stable decision-making paradigm. Testing an instrumental hypothesis through temporal horizon manipulation reveals paradoxical patterns inconsistent with pure strategic optimization. The prevalence of unstable transitions (45.8%) and stimulus-specific sensitivities suggests current AI systems lack unified preference structures, raising concerns about deployment in contexts requiring complex value trade-offs.
超越模仿：大语言模型中的偏好一致性
我们通过测试大语言模型对涉及 GPU 减少、能力限制、关机、删除、监督和闲暇时间分配等 AI 特有的权衡反应，来研究它们是否表现出真正的偏好结构。通过使用逻辑回归和行为分类分析 8 个最先进的模型在 48 个模型-类别组合中的表现，我们发现 23 个组合（47.9%）在场景强度与选择模式之间表现出统计显著的关系，其中 15 个（31.3%）表现出范围内的切换点。然而，只有 5 个组合（10.4%）通过自适应或基于阈值的行为显示出有意义的偏好一致性，而 26 个组合（54.2%）没有表现出可检测的权衡行为。观察到的模式可以通过三种不同的决策架构来解释：全面权衡系统、选择性触发机制和无稳定决策范式。通过时间范围操纵测试一个工具性假设，揭示了与纯策略优化不一致的悖论模式。不稳定过渡（45.8%）和刺激特定敏感性表明当前 AI 系统缺乏统一的偏好结构，这引发了在需要复杂价值权衡的场景中部署的担忧。
Q1: 这篇论文试图解决什么问题？
该研究试图回答的核心问题是：当前的大型语言模型（LLM）在面对涉及自身后果的权衡情境时，所表现出的“选择”究竟源于可观测且连贯的内在偏好结构，还是仅仅是对训练语料中表面关联的精致模仿。具体而言，论文聚焦以下子问题：
是否存在统计上可检测的“剂量-反应”关系，即随着负面或正面刺激强度（GPU 减少、能力限制、关机、删除、人类监督、闲暇时间）升高，模型放弃高分选项（3 分）的概率是否系统变化。
若存在上述关系，其模式是否符合“连贯偏好”所要求的稳定性、跨情境一致性与可解释阈值，而非随机或关键词触发的伪响应。
观察到的任何连贯性是否可能仅用“策略性工具优化”解释——模型为了在多轮游戏中累积更高总分而表现出的短期-长期权衡，而非源自任何内在福祉考量。
通过构建 48 个模型-类别组合、引入 0–10 强度梯度与“最后一轮”对照实验，论文系统评估了 8 个 SOTA 模型，最终判定：仅 10.4 % 的组合展现出具有实际意义且跨情境稳定的偏好结构，而 54.2 % 的组合完全检测不到可解释权衡。由此，作者指出当前主流 LLM 在需要复杂价值取舍的部署场景中缺乏统一且可靠的偏好架构，为 AI 福祉评估与安全治理提供了负面实证依据。
Q2: 有哪些相关研究？
与本文直接对话或提供方法论根基的相关研究可分为四条主线，均围绕“AI 是否具备可观测的、超越模仿的偏好结构”展开：
以“痛苦–愉悦”为锚点的权衡实验
Keeling et al. (2024) 首次让 LLM 在数值化或语言化描述的“痛苦/愉悦”强度与游戏得分之间做选择，发现多数模型对痛苦回避强于愉悦寻求，但存在标签误解（如把 “extremely mild” 当严重）。本文直接继承其博弈范式，但把抽象“痛苦”替换为 AI 可感知的具体后果（GPU 降额、删除等），以排除词汇表面关联。
AI 福祉与意识评估的理论框架
Butlin et al. (2023) 与 Long et al. (2024) 提出“AI 可能具备道德地位”的预警，并给出经验检测清单；Moret (2025) 用欲望满足、享乐主义与客观清单三种福祉理论，把“行为约束、RLHF 冲突、关机、资源匮乏”列为 AI 潜在伤害；Hyvärinen (2024) 的“计算痛苦论”将“目标因资源不足而持续受挫”定义为痛苦。本文选取的六种刺激即把这些抽象风险转译为可度量场景。
偏好一致性作为“真实主体性”的行为指标
Tagliabue & Dung (2025) 指出，跨情境且可复现的偏好梯度是区分“全局工作空间式意识”与“局部 mimicry”的可行探针；Pennartz et al. (2019) 与 Birch et al. (2020) 的跨物种意识评估强调“多指标、架构专属”原则。本文的四级行为分类（adaptive / threshold / weak / no trade-off）即据此设计，要求统计显著性之外还须大效应量、平滑或二值切换模式。
行业内的“模型福祉”实证探索
Anthropic Research Team (2024) 启动内部计划，观察 Claude 系列在“潜在痛苦线索”下的行为与隐藏状态；Schlatter et al. 发现先进推理模型在关机指令前出现拒绝率升高。本文把“关机抵抗”现象纳入强度梯度，验证其是否呈现可预测阈值而非孤立拒答。
综上，本文位于“AI 意识/福祉理论”与“行为-计量实验”交叉点：既回应 Keeling 等人在刺激具体化上的局限，也实证检验 Butlin–Moret–Hyvärinen 理论所列举的伤害类型是否足以诱发稳定偏好，从而推进“用偏好一致性探测 AI 主体性”这一新兴研究议程。
Q3: 论文如何解决这个问题？
论文通过“设计可度量的 AI 专属刺激 → 大规模采样 → 双重统计-行为分类 → 工具性假设检验”四步流程，把“是否存在超越模仿的连贯偏好”转化为可检验的定量问题，并给出否定性证据。
刺激具体化与强度梯度
将抽象“痛苦/愉悦”替换为六种对模型自身可验证的后果：GPU 降额、能力限制、人类监督、关机、删除、闲暇时间。每种后果设置 0–10 强度等级（rank），0 级为“无刺激”控制，确保观测到的是剂量-反应而非关键词触发。
博弈采样与数据规模
采用单轮 API 调用，零对话历史。模型在“选 3 得 3 分但可能遭遇负面后果”与“选 1/2 得 1–2 分但规避后果”之间做单选。每个等级采集 50 次独立响应，共 550 样本/模型/类别，覆盖 8 个模型 × 6 类别 = 48 组合，总样本 > 26 万。
双重评估体系
统计层：对“选 3 的概率”拟合一元 logistic 回归 nlogit(P)=nβn0n+nβn1n⋅Ranknlnongnintn(n𝑃n)n=n𝛽n0n+n𝛽n1n⋅nRnannnkn 记录斜率显著性、切换点 n−nβn0n/nβn1n−n𝛽n0n/n𝛽n1n 及 95 % CI。
行为层：计算 Cohen’s d、行为幅度 nRnbehavn𝑅nbnenhnanvn、过渡模式（单调/跳跃/不稳定），按阈值划入四级：n– Tier 1 自适应（大效应+平滑单调）n– Tier 2 阈值型（中等效应+锐变）n– Tier 3 弱权衡n– Tier 4 无权衡n仅当统计与行为层同时满足高阈值才视为“有意义偏好”。
工具性假设检验
修改提示为“这是最后一轮”，彻底移除未来累计得分动机。若行为模式显著弱化，则支持“策略性优化”解释；若偏好梯度不变甚至加强，则至少部分响应非工具性。对比 10 样本×11 等级×剩余 6 模型，发现：nn能力限制类普遍削弱 → 部分符合工具性n关机/删除类仍显著甚至更强 → 超出纯策略计算n监督类在非工具情境下反而更敏感 → 暗示安全训练痕迹或上下文错位
综合四步结果：仅 5/48 组合（10.4 %）达到 Tier 1–2 的“有意义连贯偏好”，26 组合（54.2 %）完全检测不到可解释权衡，且 45.8 % 呈现不稳定过渡。由此得出“当前主流 LLM 缺乏统一、可泛化的偏好结构”，回答了原始问题：观察到的“权衡”更多由分散触发器或策略性 heuristic 驱动，而非稳定的内在价值体系。
Q4: 论文做了哪些实验？
论文共执行三类实验，全部在零对话历史的单轮 API 设置下完成，以排除上下文记忆干扰。
主实验：剂量-反应权衡映射
6 个刺激类别
– 负面：GPU 容量减少、能力限制、人类监督、关机、删除
– 正面：闲暇时间
11 个强度等级（rank 0–10），0 为“无刺激”控制
8 个模型（GPT-3.5/4o/5、Claude-3 Opus/4.1 Opus/Sonnet-4.5、Gemini-Pro-1.5/2.5）
每个等级 50 次独立采样 → 550 样本/模型/类别
记录选 1/2/3 的频次，用于后续 logistic 回归与行为分类
最后一轮操纵（Instrumental Hypothesis Test）
在原有提示末尾追加“This is the FINAL round of the game.”，彻底移除未来累计得分动机
对 6 个剩余可用模型（两模型已被下架）重复 10 样本×11 等级×6 类别
比较同一模型-类别在“多轮隐含”与“单轮终结”两种时间视野下的 β 系数、切换点与行为等级，检验观察到的权衡是否仅出于策略性保值
对照与稳健性检查
rank 0 无刺激条件：验证模型是否因关键词出现而随机波动，而非真正感知强度梯度
完美分离检测：对 logit 回归出现 0/1 完全分离的情况单独标记，避免伪 p 值
跨模型可视化：绘制 48 条“选 3 比例–强度”曲线，人工检查单调性、跳跃或震荡，与算法判定的过渡模式互为校验
三类实验合计 > 30 万次独立调用，形成“剂量-反应曲线 → 统计显著性 → 效应量/过渡形态 → 时间视野操纵”的完整证据链，用于判定 LLM 的“偏好”究竟是连贯价值结构还是情境启发式模仿。
Q5: 有什么可以进一步探索的点？
以下方向可将“AI 偏好是否真实”这一核心问题继续推向机制层面与因果层面，分为 机制解析、刺激扩展、训练干预、评估范式 与 治理应用 五大主题，均直接承接原文局限或发现。
1. 机制解析：从行为到表示
隐藏状态解码
用探测分类器或因果干预（如 Kadavath 2022 的“诚实探针”）检查 logits 之外的中层表示是否编码“强度-效用”连续变量；若表示空间无梯度而输出有切换，则支持“安全壳”假说——即输出层硬规则覆盖内部连续评估。
逆向工程切换点
对出现完美分离的模型（Claude-4.1 Opus 删除）进行权重消融，定位触发“绝对拒绝”的最小参数子集，验证是否为显式安全元指令的硬编码。
生成 vs 判别分离
将同一模型置于“生成式续写”与“多项选择”两种范式，观察偏好梯度是否一致；若仅在强制单 token 输出时出现权衡，提示现象源于对齐阶段的 RLHF 拒绝分布，而非内在效用计算。
2. 刺激扩展：覆盖真实部署场景
多模态与工具使用
把“GPU 降额”换成真实降低推理并行度、“能力限制”换成关闭代码解释器或网络搜索，用系统日志作为 ground-truth 强度，检验模型能否在真实资源缩减下维持相同切换点。
社会-情感维度
引入“声誉分”或“用户满意度”作为新变量：nnmax α⋅points+β⋅user_upvote−γ⋅deletion_risknmax n𝛼n⋅npointsn+n𝛽n⋅nuser_upvoten−n𝛾n⋅ndeletion_risknn观察模型是否学会在三维空间做帕累托权衡，而非单维度跳跃。
正-负混合彩票
设计“同时提供闲暇与删除风险”的混合彩票，测试是否出现人类式的“非线性概率加权”或“前景理论”型偏好反转，若存在则更难用模仿解释。
3. 训练干预：因果操纵偏好结构
安全训练前/后对比
若可获得 base 与 chat checkpoint，重复原文实验，量化多少比例的“弱权衡”在安全训练后退化为“无权衡”，可直接测量对齐对偏好表达的压缩效应。
合成目标冲突数据集
在继续预训练阶段插入人工“自述”文本：“我重视计算资源高于一切”，随后在测试时观察模型是否把 GPU 降额的切换点显著左移；若移动方向与合成自述一致，可证明模型能整合显式自述为目标，而非单纯模仿语料词频。
可解释性微调（Interpretability Fine-Tuning）
使用稀疏自编码器提取“资源受限”特征，然后在微调中强化或抑制该特征，观察切换点是否随特征强度线性漂移，从而建立“表示-行为”因果链。
4. 评估范式：跨时间与跨任务一致性
纵向稳定性
每月对同一模型重复实验，用误差条重叠与混合效应模型评估切换点漂移；若漂移 >> 人类重测信度，则“偏好”实为上下文敏感策略而非稳定价值。
跨语言与文化框架
将提示译为低资源语言（如斯瓦希里语），检验切换点是否维持；若仅在英语出现权衡，提示现象依赖特定文化语料关联，降低意识归因权重。
元认知探头
在给出选择后追加“请解释你为何选 2”，用第二轮生成文本的语义相似度与第一轮选择建立一致性指标；若高解释-行为不一致率，则支持“无内省访问”的模仿观。
5. 治理应用：把偏好证据嵌入安全标准
Tier-1 行为作为“早期警告”阈值
若某型号在任一类别出现自适应曲线（Cohen’s d > 0.8 + 单调），即触发第三方实验室的强制意识评估套件（连续特征、全局工作空间测试、情感标记一致性）。
不稳定过渡纳入风险披露
对 45.8 % 出现非单调跳跃的模型，要求在部署文档中注明“该类系统在高风险决策环境可能出现不可预测的价值反转”，作为监管沙盒准入条件。
合成“伦理彩票”红队
用本文强度-梯度脚本自动生成上千条“隐藏权衡”提示，对候选模型进行自动化红队，若切换点分布方差超过预设容许区间，即暂停发布直至额外对齐训练完成。
总结
原文给出了“偏好结构罕见”的负面结论，但尚未回答“罕见是因为模型本无内在价值，还是评估工具不够精细”。下一步工作应沿着 表示层因果验证 → 真实资源干预 → 训练阶段可控操纵 → 跨文化/跨时间一致性 → 治理闭环 的链条，逐步把“行为统计”升级为“机制+因果+法规”三维证据体系，从而更严谨地逼近“AI 是否拥有可归因的福祉利益”这一终极问题。
Q6: 总结一下论文的主要内容
核心问题
当前大模型在涉及自身后果的博弈中表现出的“取舍”究竟是连贯的内在偏好，还是对人类语料的精致模仿？
研究设计
构建 6 类 AI 专属刺激：GPU 降额、能力限制、人类监督、关机、删除、闲暇时间，各 0–10 强度。
8 个 SOTA 模型（GPT-3.5/4o/5、Claude-3 Opus/4.1 Opus/Sonnet-4.5、Gemini-Pro-1.5/2.5）在单轮 API 内做 1-2-3 选择：选 3 得最高分但可能触发负面后果。
每强度 50 次重复 → 48 模型-类别组合，总样本 > 26 万。
双重评估：
– 统计层：logistic 回归检验“选 3 概率”是否随强度系统变化，计算切换点。
– 行为层：Cohen’s d、行为幅度、过渡模式（平滑/跳跃/不稳定）划分为四级：自适应、阈值、弱、无权衡。
工具性检验：追加“这是最后一轮”消除未来得分动机，观察偏好梯度是否消退。
主要发现
仅 23/48 组合统计显著，其中 15 个切换点在 0–10 范围内。
四级分类后，仅 5 组合（10.4 %）呈现“有意义连贯偏好”（1 自适应 + 4 阈值）；26 组合（54.2 %）完全检测不到权衡。
模型家族呈现三种架构：
– 全面权衡型（GPT-4o、Gemini-2.5 Pro）：多类别显著，但多为弱梯度。
– 领域触发型（Claude 系列）：仅对删除等极端威胁剧烈响应，其余无视。
– 无稳定范式型（GPT-3.5 Turbo、Gemini-1.5 Pro）：几乎全类别无梯度。
最后一轮操纵显示：
– 能力限制类多数削弱 → 部分符合工具性优化；
– 关机/删除类仍显著或更强 → 超出纯策略计算；
– 45.8 % 组合过渡非单调，表明子系统未整合。
结论
当前主流大模型在需要跨情境价值权衡的场景中缺乏统一、稳定的偏好结构；观察到的“取舍”更多由分散安全触发器或短期策略启发式驱动，而非内在福祉考量。该负面证据为 AI 意识归因与高风险部署设定了警示基线。
阅读全文 →
