重塑AI评估：固定滚动 pass@k 的信息边界与扩展真相
评估方法的统计盲区
在当前的大模型竞技场中，pass@k 这一指标已成为衡量模型解决问题能力的标准尺度。无论是通过 MATH、GSM8K 还是 CodeContests 等基准测试，研究者和从业者都习惯于通过重复采样来估计模型在 k 个尝试中至少成功一次的概率。然而，这种看似普遍的评估实践，在统计学层面上隐藏着一个被严重低估的盲区。
核心问题在于，传统的固定滚动评估方法，其识别能力被严格限制在采样次数的范围之内。文章指出，在汇聚/随机任务条件下的二项模型中，固定 n 次成功计数仅能识别出每任务潜在成功分布的 n 个自由矩。这意味着，即便拥有任意多个可交换的任务，在相同的滚动预算下，也只能直接确认 k ≤ n 时的 pass@k。一旦 k 超过采样数 n，评估结果便不再是对模型能力的直接反映，而是陷入了统计外推的泥潭。
这种局限性并非 merely（仅仅）是估计器在 n 之外未定义的简单现象，它实质上刻画了固定深度计数律实验中缺失的信息。文章通过严谨的数学推导，展示了 exact count-law-preserving constructions（精确计数律保持构造），这些构造展示了在相同统计信息下，截然不同的潜在成功分布是如何兼容共存的。这种“非唯一性”意味着，基于有限样本的评估结果，很难在数学上严格界定模型真实的高水平能力边界。
数据反事实：10000 卷出中的巨大差异
为了验证上述理论在实际场景中的波动幅度，文章选取了 Brown 等人公开发布的 10,000 卷出每问题数据集进行反事实分析。这是一个规模足够大、可以被视为近似“理想条件”下的数据集。研究者将注意力聚焦于 n = 16 的情形，即每个问题仅收集 16 个样本，却试图推断 k = 1000 时的 pass@k 表现。
结果令人深思。在四种不同的配置——MATH、GSM8K、CodeContests 以及混合配置下，固定 n = 16 的评估结果在 k = 1000 时的失败概率，被外推出的模糊因子从 1.5 到超过 2,600 不等。这种巨大的差异并非数据噪声，而是暴露了评估方法本身的局限性。特别是在 CodeContests 等需要复杂代码生成能力的任务中，这种模糊度达到顶峰。
这一现象揭示了一个关键事实：中等规模的失败率 alone（单独看）并不能决定评估结果的宽度。这意味着，即便我们观察到模型在 16 次尝试中大多失败，并不能直接推断出其在 1000 次尝试中失败的概率。不同任务的本质差异、模型错误类型的分布以及问题的难度分布，都在潜移默化地拉宽了我们的不确定区间。文章的这一发现有力地反驳了“样本越多、推断越精确”的朴素认知，指出了在有限预算下，评估的精度受到结构性限制而非单纯的样本量。
非参数基准与推理扩展律的辩证关系
在分析了评估的统计盲区和数据波动后，我们不得不回到大模型发展的主流趋势——推理扩展律。业界普遍认为，通过增加计算资源和推理时间，模型的能力可以呈现出可预测的规律性增长。然而，文章的核心贡献在于，它并未拒绝参数化的推理扩展律，而是为这些假设提供了一个至关重要的非参数基准。
换句话说，任何试图通过增加采样次数来预测模型高 pass@k 表现的模型，都必须先经过这道“非参数关”。文章提供的“exact, conservative one-coordinate finite-task confidence certificate”（精确、保守的单坐标有限任务置信证书），为评估者提供了一把安全阀。它明确界定了在有限任务样本下，我们可以确定的部分（direct estimates），以及那些处于统计识别边界之外的区间（identified sets）。
这种分层的报告标准至关重要。它将评估结果划分为三个层级：首先是直接估计的 pass@k 值；其次是由统计信息界定的识别区间；最后是基于特定模型假设的预测。这种分类避免了将模型能力无限外推的风险，也避免了因样本不足而产生的虚假精确感。对于追求可靠评估的研究者和企业而言，理解并应用这一框架，意味着在面对高 k 值时，应当更加谨慎地解读结果，而不是盲目相信线性外推的曲线。
结语：重新定义AI能力的测量标准
综上所述，固定滚动 pass@k 的评估方法，其统计本质决定了其在高 k 值外推上的固有局限。从数学结构上看，它只能捕捉有限的矩信息；从实际数据看，即使在 10,000 卷出的大数据下，对 k=1000 的推断也可能偏差巨大。然而，这种局限性并非评估的死局，而应当被视为一种边界条件。
文章提供的非参数基准，为评估扩展律的假设提供了一个客观的参照系。它提醒我们，在评估日益强大的大模型时，不能仅仅依赖“采样次数的增加”来保证评估的有效性。未来，如何在有限的计算预算下，设计更高效的采样策略，或者开发能够跨越统计盲区的新型评估指标，将是行业面临的核心挑战。对于构建更可靠的AI基准体系，理解这些“信息边界”比盲目追求更高的 pass@k 数字更为关键。