当概率失效：用几何动力学重新定义大模型推理评估
大语言模型的评估体系长期困于一个根本性矛盾：我们依赖标量指标衡量智能，却试图理解一个高度非线性的思维过程。准确率、困惑度、BLEU分数——这些数字固然直观，却像用体温计测量大脑活动，只能反映表象，无法揭示机制。当模型在数学推理、逻辑推断或多步规划中表现波动时，传统评估往往只能给出“对”或“错”的判决，却无从解释为何出错、何时稳定、如何收敛。
从标量到轨迹：评估范式的断裂
当前主流评估方法将模型输出简化为概率分布上的一个点，再通过最大似然或阈值判断其正确性。这种处理方式忽略了推理的动态本质。人类在解决复杂问题时，思维并非瞬间跳跃至答案，而是经历试探、回溯、修正的连续过程。大模型虽无意识，但其内部表示在生成过程中同样呈现出演化轨迹。若仅以最终输出评分，无异于通过终点位置判断运动员的技术水平，忽略了起跑、加速、变向等关键动作。
更深层的问题在于，标量评估无法区分“偶然正确”与“稳健推理”。一个模型可能因训练数据中的模式匹配而偶然答对难题，其推理路径实则脆弱；另一个模型虽最终答案有误，却展现出清晰的逻辑链条与自我修正能力。前者可能在分布外数据上迅速崩溃，后者则具备更强的泛化潜力。现有指标难以捕捉这种差异，导致我们对模型真实能力的误判。
TRACED框架：用几何语言描述思维运动
TRACED框架的突破在于将推理过程建模为高维空间中的连续轨迹。研究者引入几何运动学概念，将模型在每一步生成时的内部状态视为空间中的一个点，整个推理链条则构成一条动态路径。通过分析这条轨迹的曲率、速度变化、收敛方向等几何特征，TRACED能够量化推理的稳定性与结构性。
- 轨迹曲率反映思维路径的波动程度。高曲率意味着频繁的自我修正或逻辑跳跃，可能暗示不确定性或知识盲区；
- 收敛速度揭示模型接近稳定结论的效率，过快可能表示过早固化，过慢则可能陷入无效搜索；
- 路径平滑度与最终答案的正确性并非线性相关，某些复杂问题需要适度“迂回”才能抵达正确解。
这一方法的理论基础源于动力系统理论，将模型推理视为一个状态演化过程。与传统评估不同，TRACED不依赖外部标注的“正确答案”作为唯一评判标准，而是关注推理过程本身的数学性质。例如，在数学证明任务中，即使模型最终结论错误，若其轨迹展现出向正确方向收敛的趋势，仍可被判定为具备潜在推理能力。
评估即理解：从性能到机理的跃迁
TRACED的真正价值不在于替代现有指标，而在于提供一种“可解释的评估”。当开发者看到某模型在几何空间中频繁出现高曲率震荡，便可推测其可能存在注意力机制不稳定或上下文记忆衰减问题；若多个模型在相同任务上呈现相似的收敛路径，则暗示该问题存在某种“认知捷径”。这种洞察力是标量评分无法提供的。
更重要的是，几何视角揭示了模型规模与推理稳定性之间的非线性关系。实验表明，并非所有大模型都具备更平滑的推理轨迹。某些中等规模模型在特定任务上反而展现出更稳定的几何行为，挑战了“越大越好”的简单逻辑。这提示我们，模型架构、训练策略与推理稳定性之间存在复杂交互，单纯增加参数未必提升思维质量。
通向过程智能：评估革命的未来图景
TRACED代表了一种更根本的范式转移：评估不应只是性能的裁判，更应成为理解的窗口。当AI系统开始参与医疗诊断、法律推理或科学发现等高风险领域，我们需要的不仅是“它答对了”，更是“它为何这样想”。几何动力学提供了一种数学语言，使思维过程变得可观测、可比较、可优化。
未来，我们或许会看到更多基于过程建模的评估体系。结合拓扑学分析推理路径的连通性，利用信息几何度量知识迁移的效率，甚至引入认知科学中的心智模型理论。这些努力共同指向一个目标：让AI的“黑箱”在评估中逐渐透明，使智能不仅可测，更可懂。
评估的终极目的不是打分，而是理解。当我们可以绘制出模型思维的等高线图，标注其认知的悬崖与平原，我们才算真正开始与机器对话。