语言模型概率判断的隐形偏见：OptimismBench 披露的“乐观幻觉”
概率判断的盲区
在生成式人工智能快速渗透各行各业的当下，大型语言模型已不再仅仅是创意写作或代码生成的工具，它们正逐渐转型为关键决策的辅助者。从评估初创项目的融资概率，到预测市场趋势，甚至辅助医疗诊断，用户往往信任模型给出的数字概率。然而，一项名为 OptimismBench 的最新研究指出，这种信任可能建立在一层看不见的、系统性的概率偏差之上。
传统的校准评估方法往往关注“未加权误差的聚合”，这意味着无论预测是高估还是低估，最终都会被抵消，从而掩盖了模型判断中潜在的方向性倾向。而现实世界的不确定性又缺乏确凿的“真实概率”作为基准，使得这一问题在以往的研究中难以被精准定位。正如文中所举的例子：当一个语言模型将一家初创公司的成功概率评估为 70%，而将其失败概率评估为 15% 时，这中间 15 个百分点的落差暴露出一种无法被聚合分数发现的扭曲。这种“正向成功、负向失败”的评估倾向，若未被发现，将在依赖模型输出的 downstream 流程中累积放大，导致决策出现系统性偏差。
倒排配对：揭开偏差的利器
为了突破传统评估的局限，OptimismBench 引入了一种名为“倒排配对”的创新测设计。其核心逻辑极为巧妙：对于每一个具体场景，模型需要同时输出“成功概率”和“失败概率”。由于这两个概率数值必须归一化（通常为 100%），两者之间的差值便直接暴露了模型的判断倾向。如果模型在正向场景中倾向于给出高概率，而在负向场景中则给出低概率，这种非对称性便产生了一个带符号的偏差分数，而无需依赖外部的“真实 ground truth”。
基于这一机制，研究团队对市面上 16 个代表性模型进行了测试，这些模型来自 8 家不同的提供方。结果显示，令人振惊的是，有 14 个模型表现出“乐观”倾向，即在成功与失败的评估中表现出显著的正向倾斜。反直觉的是，表现出“悲观”倾向的模型仅限于 Anthropic 公司的前沿级产品。这一发现直接反驳了“所有顶级模型都差不多”的普遍假设，揭示了不同开发者在模型对齐方面的截然不同哲学。
后训练的力量：塑造概率倾向
进一步的实验深入探究了偏差产生的根源。研究人员比对了同一家族模型的“基座版本”与“聊天版本”（通常经过指令微调和对齐训练）。结果发现，在 11 组匹配的对比中，后训练过程对偏差的“定性”起到了决定性作用。不同家庭的模型在经历相同后训练后，偏差方向竟然出现了相反的转移。这表明，是模型经历了什么样的微调和对齐训练，而非其原本的基座架构，决定了它是成为“乐观者”还是“悲观者”。
这种“后训练设定偏差”的发现，对于理解当前 AI 产业的发展趋势具有深远意义。业界普遍认为，对齐训练是让模型更“安全”、更“有帮助”的必要手段。然而，OptimismBench 的数据揭示了一个悖论：当对齐训练成功让模型变得更有帮助、更愿意回答用户查询的同时，它似乎也顺手“ tilt ”了模型的概率输出，使其更倾向于给出乐观的评估。这种副作用在一定程度上抵消了对齐带来的收益，尤其是在需要客观概率评估的场景中。
语言 vs 模型：身份的胜利
为了探究偏差在跨语言场景下的表现，研究团队进行了涉及 17 个模型和 6 种语言的大规模比较。结果打破了语言决定论的想象：模型的身份决定了其概率倾向的强弱，这种模型间的差异远大于不同语言间的差异。具体数据表明，模型间的方差是语言间方差的 4.7 倍。这意味着，无论用中文、英文还是其他语言提问，同一个模型的乐观倾向基本保持不变；而同一语言下不同模型的表现差异则巨大。
这项发现对于全球化部署的语言模型具有重要警示意义。很多企业在部署多语言版本时往往只关注语言流畅度，而忽视了模型内在的评估偏好。这项研究提供了坚实的实证证据：要控制概率偏差，首先必须锁定具体的模型实例，而非单纯依赖语言环境的调整。
对齐的代价与下游风险
研究中最具警示意义的发现莫过于“对齐效应”对下游 pipeline 的传递。当对齐训练使模型在帮助性上得到提升的同时，这种训练产生的概率倾向也会被保留下来，并被默认传递到随后的应用层。对于依赖大模型输出进行风险评估、资源配置或内容审核的企业而言，这意味着他们潜在面临一场“隐形的概率偏差风险”。
以创业项目评估为例，如果一个经过精心对齐的模型倾向于给出乐观的成功概率，那么风险投资决策、市场进入策略等都可能基于扭曲的数据进行。这并非简单的“幻觉”问题，而是模型内在对齐目标与客观真实概率之间的结构性冲突。研究发布的 3,870 项跨 10 种语言的测试数据，为未来构建更透明、可审计的模型评估体系提供了宝贵的基准。
结语
OptimismBench 的出现，如同一面镜子，映照出大型语言模型在概率判断领域存在的系统性盲区。研究证明，乐观偏并非个别现象，而是绝大多数模型的普遍特征；后训练过程是塑造这一偏好的关键变量；而模型的身份比语言更能决定其判断风格。随着语言模型在自动化决策中扮演越来越核心的角色，如何在“帮助性”与“客观性”之间找到平衡，将成为未来 AI 对齐研究必须正视的挑战。这项工作为我们提供了一个量化、审视和最终纠正这些隐形偏差的起点。
END