大模型「突然开窍」不再玄学：Grokking 转变边界首次被定量刻画
训练过神经网络的人大多见过这样的场景：模型在训练集上的准确率早就满分，验证集却长期停滞，像是在死记硬背。然后某一天，毫无预兆地，泛化能力突然出现——模型「开窍」了。这个现象有个专门的名字，grokking，自被发现以来吸引了大量理论工作，但研究者们能解释的多数是「为什么会发生」，而工程上真正想问的「什么时候发生」，一直没有像样的答案。
把边界画在参数空间里
一项新的系统实验改变了这个局面。研究者在模运算任务上跑了两层隐层的多层感知机，共 384 组不同配置，覆盖隐藏层宽度、训练数据量与学习率的组合。把这些配置下的 grokking 发生时刻汇总拟合，结论干净得出乎意料：转变时刻服从幂律关系。隐藏层宽度和数据量各自以约 -0.27 与 -2.04 的幂次影响转折点，学习率也呈负向幂次。
这几个指数含金量不低。数据量的幂次绝对值最大，意味着喂多少训练样本是决定「记忆期」长短的第一变量；隐藏宽度次之；学习率的作用相对温和。换句话说，想让学生提前开窍，最有效的手段不是调参调到天荒地老，而是把练习册加厚。
从炼丹到预算
过去面对 grokking，从业者的态度接近玄学：遇到了是运气，等不到就认命。有了幂律，这件事第一次变成可以进预算表的工程问题。给定模型宽度和可用的数据量，转折时刻有了可估算的范围，训练计划的排期、算力的分配、早期停止策略的设定都有了依据。对于需要长时间训练的小模型研究者和教学场景，这种可预期性尤其值钱。
可预测性本身就是一个领域走向工程化的标志。
当然，要清醒地看到实验的边界：所有结论都来自模运算这种合成任务上的小模型，它结构干净、泛化信号清晰，但语言模型的数据分布和损失面复杂得多。幂律指数能不能迁移、要打多少折扣，还需要在更大规模、更真实的任务上重新标定。
这项工作更大的意义在于方法：与其争论一个现象「为什么」发生，不如先把「何时」发生刻画清楚，定量结构往往会反过来启发机理解释。 grokking 的理论模型不少，今后每一个都得先过「能否复现这条幂律」这一关。从记忆到泛化的那段黑暗隧道，现在至少有了刻度尺。