认知结构的重塑：强化学习如何改变大模型的“数学思维”
认知重构的实证基石
在当前大模型竞技场中，推理能力的提升始终是核心指标。随着OpenAI等机构发布的推理导向型模型层出不穷，学术界和产业界都在试图解构其成功的内在密码。近期一篇在 arXiv 上预印本的研究论文，试图通过“探针”这一神经网络解析手段，拆解由强化学习（RL）与监督微调（SFT）两种范式训练出来的模型在数学推理任务上的内在差异。这项研究并非简单的性能对比，而是试图在模型的“黑盒”内部寻找那些决定推理质量的神经元活动模式。
研究团队首先利用线性探针对模型的各层隐藏状态进行探测。实验结果显示，与SFT模型相比，RL微调后的模型在预测答案正确性时表现出更高的探测准确率。这意味着什么？从神经网络的角度看，这表明RL训练过程使得模型的内部表征更加线性可分和结构化。简单来说，模型将数学问题的不同特征映射到了更清晰、更易于分类的空间中。这种“结构化”并非简单的参数调整，而是训练范式对模型几何结构的根本性改造。对于从事模型解释性研究的从业者而言，这一发现提供了一个量化的基准：RL不再仅仅是让模型“多想一点”，而是让模型“想得更有条理”。
层级架构的显性差异
除了表征的可分性，研究还通过均值消融研究深入分析了模型结构的层级分布。消融实验通过“关闭”或屏蔽网络中的特定层，观察模型性能的下降幅度，从而推断出各层的重要性。结果揭示了一个鲜明的对比：RL模型呈现出明显的层级架构，即网络的深层逐渐变得至关重要，起到关键的抽象和整合作用；而SFT模型则表现出更为均匀的层级分布，重要性在各层之间相对均衡分布。
这一发现直击模型训练的本质。强化学习通常涉及长序列的奖励反馈，这迫使模型在前期处理信息时必须为后期的决策保留足够的语义残留，从而自然地形成了“浅层感知、深层抽象”的处理范式。相比之下，SFT主要依赖于标签的直接监督，模型倾向于在较早的层次即提取特征并输出结果，这种“即时性”虽然在某些任务上高效，但在复杂的多步推理中可能缺乏必要的深层次验证与修正机制。这种层级重构解释了为什么RL模型在处理需要多步推理的数学题时往往能保持更高的成功率——它们拥有一个更完善的、类似“前额叶皮层”般的深层控制系统。
算力与策略的博弈：token分配的变异性
除了表征结构，研究还关注“计算预算”的分配问题。论文通过反复采样的方式，统计了模型在不同问题上的token消耗变异性。有趣的是，实验并未发现RL与SFT在token使用上的绝对统治关系。部分RL微调模型展现出了更高的token使用变异性，这意味着它们在面对同类问题时，采取了更多样化的思考路径；而另一些RL模型则表现出与SFT模型相似的稳定性。
这种变异性的差异揭示了一个重要的行业趋势：模型的推理策略并非由“RL与SFT”的二元对立单一决定，而更多取决于整体的训练管线、奖励模型的设计以及具体的问题分布。token分配的变异性实际上反映了模型推理策略的“稳定性”。变异性高的模型可能表现出更具探索性的思维，能够在多条路径中寻找解，而变异性低的模型则倾向于收敛于一条固定的、可能是局部最优的解。这为理解“模型是否具备健壮的推理政策”提供了新的视角——并非所有的RL训练都能产生稳定的、可识别的解行为，部分训练过程可能导致模型陷入非确定性的、难以解析的思维状态。
结语与行业展望
综上所述，这项研究通过线性探测和层级消融两条路径，为我们理解大模型推理机制的内部差异提供了坚实的实证基础。RL训练并非仅仅是性能的提升，它从根本上重塑了模型的认知结构，使其表征更加线性可分，并形成了清晰的深层重要性层级。同时，token分配的变异性分析提醒我们，训练范式的选择需要结合具体的应用场景来权衡——追求策略的多样性与稳定性之间的平衡，是未来模型优化的关键课题。
展望未来，随着对模型内部机制的深入挖掘，我们有理由相信，下一代的模型训练将不再单纯依赖于海量数据的堆砌，而是将更多精力放在如何工程化地塑造模型的“思维结构”。无论是通过精细设计的奖励函数，还是通过混合训练范式的创新，理解模型为何“能推理”，将是连接当前AI能力与人类认知科学的重要桥梁。对于投资人和产品经理而言，关注模型内部的表征质量或许比单纯盯着benchmark分数更能预测模型在未知、复杂任务上的实际表现。