告别‘脑内空转’：AI推理模型如何用‘自我对话’实现高效进化
当大模型在数学题前反复验算、逻辑链中不断兜圈时，它们展现出的不是严谨，而是一种“脑内空转”式的低效。这种现象在基于可验证奖励的强化学习（RLVR）框架下尤为突出：只要答案正确，模型便获得满分，至于推理过程是否冗余、是否真正聚焦问题，则无人问津。于是，延长推理成了模型提高正确率的“理性策略”，哪怕代价是消耗更多算力与时间。
奖励机制的盲区：为什么模型会“想太多”？
RLVR的成功建立在简洁反馈之上——答案对即奖励，错即惩罚。这种二值化信号虽高效，却忽略了推理过程的内在质量。模型无法感知哪些步骤真正推动了结论，哪些只是无意义的重复或发散。更关键的是，由于缺乏对中间步骤的细粒度评估，模型自然倾向于通过“多写几步”来增加“碰对”答案的概率，哪怕这些步骤与问题本身关联微弱。
此前，研究者尝试通过显式惩罚输出长度来遏制这一趋势，例如统计token数量并在过长时削减奖励。但这类方法治标不治本：它们惩罚的是“长度”，而非“无效性”。结果往往是模型被迫压缩推理，反而降低了复杂问题的解决能力，陷入准确率与效率的两难。
SAR：让模型学会“自我审视”
伊利诺伊大学香槟分校与Amazon AWS团队提出的Self-Aligned Reward（SAR）提供了一种截然不同的思路：不再依赖外部规则，而是挖掘模型自身的语言建模能力作为反馈源。SAR的核心是计算模型在两种情境下对同一答案的困惑度（perplexity）差异：一是将答案视为独立文本生成，二是在给定原始问题作为上下文的前提下生成该答案。
这一差值本质上衡量了答案对问题的“依赖程度”。若一个回答高度聚焦问题，脱离上下文后其生成概率会大幅下降；反之，泛泛而谈的内容则受影响较小。SAR正是利用这一内在信号，构建了一个连续、细粒度的奖励函数，直接作用于推理的语义相关性，而非表面长度。
实验显示，SAR能精准区分答案类型：它偏好简洁正确的回答，对部分正确但推理有误的答案给予适度宽容，同时坚决抑制无推理直接输出正确答案的行为。这种“语义对齐”机制让模型学会区分“有用思考”与“无效空转”。
效率与精度兼得：一场静默的革命
在4个基础模型和7个数据集上的测试表明，引入SAR后，模型平均准确率提升约4%，同时输出长度减少至少30%。更关键的是，这种提升并非以牺牲复杂问题解决能力为代价。SAR在逻辑推理等非数学任务中同样表现稳健，证明其泛化能力超越领域边界。
与传统的长度惩罚方法相比，SAR在准确率-效率权衡曲线上始终占据优势，尤其在低惩罚权重区间仍能维持双高表现。这意味着它不是通过“压制”推理来提效，而是通过“引导”模型聚焦真正有效的推理路径，实现内在优化。
从外部监督到内在反馈：强化学习的新范式
SAR的意义不止于解决“过度思考”问题。它代表了一种范式转移：强化学习不再完全依赖人类设计的奖励函数或外部评估模型，而是开始利用大模型运行时的内在信号——如困惑度、注意力分布、生成概率等——作为连续、可微的反馈源。
这种“自我对齐”机制使模型具备一定程度的自我诊断能力：它能感知哪些输出是“言之有物”，哪些是“空话连篇”。未来，随着更多内在信号被挖掘并转化为奖励信号，大模型或许能实现更自主、更高效的持续进化，甚至在不依赖大量人工标注的情况下完成能力提升。
当AI开始学会倾听自己的“内心声音”，真正的智能或许才刚刚起步。