双下降悖论的破局：扩散模型中的“恶性过拟合”与正则化之道
从“良性过拟合”到“恶性过拟合”的范式转换
在深度学习的主流认知中，模型过参数化——即拥有的参数量 $p$ 超过训练样本数 $n$——长期以来被视为一种“有益的过剩”。这一观点基于“双下降”现象：随着模型规模的扩大，泛化误差并非单调递增，而是呈现出先下降、插值峰值后再下降的双峰曲线。理论上，在充足的正则化或插值条件下，大模型应当具备更强的泛化能力。然而，当我们将目光投向扩散模型这一生成式AI的明珠时，这一既定认知却遭遇了意想不到的挑战。
扩散模型的训练过程在数学本质上被简化为回归问题，即最小化二次评分匹配损失。基于此，人们理所当然地期望扩散模型也能享受“良性过拟合”的红利。直觉告诉我们，只要模型足够大，它就应该能够很好地拟合数据分布，而非单纯 memorize 训练样本。然而，现实的实验结果却截然不同：当模型参数远超训练样本阈值时，扩散模型并非泛化性能提升，而是陷入了一个“记忆化”主导的灾难性过拟合状态。这种现象在行业内被称为“恶性过拟合”，它揭示了生成模型背后隐藏的数学脆弱性。
揭开悖论：峰值位置与损失上升的提前启动
为了破解这一悖论，研究团队结合在 CelebA 数据集上训练的 U-Net 实验与具有闭式学习曲线的随机特征模型，构建了严谨的分析框架。研究发现，这种过拟合行为并非单一因素导致，而是样本数 $n$ 与噪声实现次数 $m$ 之间相互作用的结果。
具体而言，当模型参数 $p$ 逼近 $n \times m$ 的量级时，确实会出现插值峰值。这意味着当模型容量足够大，能够完美拟合包括噪声实现在内的所有训练细节时，测试损失会出现一个暂时的高点。然而，更为关键且令人意外的发现是：测试损失的上升并非始于这个极大的峰值，而是在 $p \sim n$ 这一相对较小的参数阈值便已启动。无论噪声实现次数 $m$ 取何种值，一旦模型参数逼近训练样本数，泛化性能便开始迅速恶化。
这种“提前启动”的现象揭示了扩散模型过拟合的独特性。在标准回归问题中，过拟合通常随着模型无限膨胀而持续恶化；但在扩散模型中，损失曲线的形态被 $m$ 的大小所调节。由于实际训练中通常采用 $m \gg 1$ 的策略（多次噪声采样），理论上的插值峰值被推至了极大的模型规模。这意味着在实际应用中，模型往常驻于在峰值之前的上升分支上，此时“恶性过拟合”已经悄然占据了主导。
偏差-方差分解：正则化的背离方向
研究进一步通过偏差-方差分解，精准定位了这一机制的成因。结果表明，评分估计器的偏差在 $p \sim n$ 这一临界点开始显著增长。这意味着，当模型容量超过样本数的阈值，模型开始偏离真实的数据分布规律，向训练集的经验频率偏移。
在标准回归情境中，过拟合过后，模型的方差会迅速衰减，而偏差则相对稳定。然而，扩散模型的情况截然不同。尽管训练过程中的隐式正则化机制全面运作，但其指向的方向却出现了偏差。正则化驱动模型逼近的是“经验评分”——即完美记忆训练集的那个解，而不是“真实评分”——即反映数据背后生成规律的解。这种正则化的“错误取向”导致模型在记忆训练数据的同时，丧失了对未见数据的捕捉能力。
方差在峰值之后确实开始衰减，但这种“纠正”为时已晚，因为偏差已经在峰值前的区域就被无限放大。偏差与方差的这种非对称博弈，正是导致扩散模型过拟合“恶性”程度加剧的根本数学原因。
正则化的双刃与生机
尽管上述分析描绘了一个令人担忧的过拟合图景，但研究并未止步于此。研究团队特别探究了在正则化手段介入后模型行为的变化。结果显示，当引入岭惩罚（在随机特征理论框架下）或利用提前停止（在 U-Net 实验中）时，局势出现了令人振奋的逆转。
在配合最优正则化的情况下，大规模过参数化模型的表现出现了质的飞跃。实验与理论分析共同表明，经过精心调节的大模型——无论是通过岭惩罚还是提前停止——都能在未正则化模型之上取得优势。这揭示了一个核心真理：过参数化本身并非罪恶，关键在于我们是否能够驾驭它。
正则化并非简单的“限制”，它实际上是一把剥离模型中噪声成分、保留真实信号的利刃。在扩散模型的语境下，合理的正则化可以有效抑制模型向“记忆化”方向的偏移，引导其收敛于更具泛化能力的解空间。这为实际工程中的模型设计提供了明确的指引：在追求模型规模的同时，必须同等重视正则化策略的设计与实施。
展望：从记忆 toward 理解的生成之路
综上所述，扩散模型中的“恶性过拟合”并非不可逾越的鸿沟，而是揭示了深度学习在不同任务下行为差异的重要窗口。传统的“双下降”智慧在回归问题中成立，但当模型形态转向生成任务时，其背后的数学假设需要重新审视。样本数、噪声实现次数与模型容量之间的复杂博弈，决定了模型是走向“理解”还是“记忆”。
展望未来，如何在大规模过参数化的浪潮中找到最佳的正则化平衡点，将是学术界和产业界共同面对的课题。这不仅关乎扩散模型性能的极致发挥，更关乎我们对“机器学习泛化本质”的深层认知。随着模型规模的持续膨胀，唯有将正则化视为不可或缺的核心组件，而非事后补救，才能真正引导扩散模型从单纯的数据记忆，走向对数据生成规律的深层理解。这或许是推动下一代更可靠、更稳健生成式AI系统诞生的关键钥匙。