当AI评测陷入‘能力幻觉’：我们该如何定义大模型的真实水平？
在人工智能领域，大语言模型的性能几乎完全由排行榜上的数字定义。从MMLU到HumanEval，从ARC到TruthfulQA，这些基准测试构成了衡量模型进化的标尺。然而，当社区习惯性地将榜单分数等同于“通用能力”时，一个根本性问题被长期忽视：这些分数真的能代表模型内在的智能水平吗？答案可能远比想象中复杂。
排行榜背后的“能力幻觉”
当前主流评估体系存在系统性偏差。测试集污染——即训练数据中意外包含评估题目——使得部分高分可能源于记忆而非理解。更隐蔽的是标注错误，尤其在主观题或复杂推理任务中，人工标注的不一致性会直接扭曲模型表现。但最深层的问题在于，现有方法未能区分“模型规模”与“真实能力”。一个拥有千亿参数的模型，即便能力平庸，也可能因庞大的计算资源在多数任务上碾压小模型。这种规模主导的评估逻辑，正在制造一种“能力幻觉”：我们看到的不是智能的跃迁，而是算力的胜利。
两种传统路径的致命缺陷
面对这一困境，研究者曾尝试两条路径。其一是潜变量模型，源自社会科学中的心理测量学，试图从多个任务表现中提取“潜在能力因子”。但这类模型往往忽略了一个关键事实：模型性能随规模增长呈现可预测的缩放规律。结果，它们提取出的“能力”实质上是模型大小的代理变量——更大的模型自然拥有更高的潜变量得分，形成循环论证。
另一条路径是缩放定律，它通过拟合模型性能与参数量、训练数据量之间的关系，预测未来表现。这种方法虽具预测力，却完全无视测量过程中的噪声与误差。基准测试本身的不完美被当作确定性信号处理，导致提取出的“能力”既无法解释其认知含义，又极易过拟合于特定测试集。换言之，缩放定律告诉我们“模型会变强”，但说不清“强在哪里”。
结构化能力模型：在规模与能力之间架桥
新提出的结构化能力模型试图打破这一僵局。它不将模型规模与能力对立，而是将其纳入统一框架：模型规模作为输入，影响潜在能力的形成；而这些能力再通过带有测量误差的通道，生成我们在基准测试中观察到的分数。这种双向建模方式首次实现了“规模驱动能力，能力解释表现”的闭环。
在OpenLLM Leaderboard的大规模实证检验中，该模型展现出双重优势。一方面，它在简约性指标上优于潜变量模型，说明其用更少的假设解释了更多变异；另一方面，在分布外基准的预测任务中，它显著超越缩放定律，证明其提取的能力更具泛化性。更重要的是，这些能力因子开始具备可解释性——例如，某些因子稳定关联于逻辑推理，另一些则与语言流畅度强相关，而非单纯与模型大小挂钩。
评估革命：从分数崇拜到能力解构
这场方法论的演进，实质上是对AI评估哲学的重塑。过去我们追求“更高分数”，如今必须追问“分数背后是什么”。结构化能力模型的价值不仅在于技术改进，更在于它迫使整个社区重新思考评估的目的：我们不是在测试模型能答对多少题，而是在探测其认知结构的边界。当能力被解构为可解释、可迁移的维度时，模型比较才真正具备科学意义。
这也对模型开发提出新要求。单纯堆砌参数已无法带来实质性突破，关键在于如何优化能力结构。未来，开发者或许会像调整神经网络架构一样，精细调控模型的“能力图谱”——增强推理链长度，提升跨域迁移效率，或强化事实一致性。评估体系必须为此类创新提供反馈回路。
通向可信AI的必经之路
构念效度的危机，本质上是AI可信性的缩影。如果连“能力”都无法被可靠测量，何谈安全部署与伦理治理？结构化能力模型虽非终极答案，但它代表了一种关键转向：从黑箱评分走向透明归因。随着多模态、Agent化等新范式兴起，评估复杂度将指数级上升。唯有建立能分离噪声、规模与真实能力的框架，我们才能避免在数据迷雾中迷失方向。这场评估革命，终将决定AI是走向盲目扩张，还是迈向真正智能。