解码大模型训练：从能力激发到能力创造的范式跃迁
当我们在讨论大语言模型的后训练阶段时，最常提及的两个技术是监督微调（Supervised Fine-Tuning, SFT）和基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）。前者被广泛视为一种‘模仿学习’，后者则被赋予‘探索与发现’的浪漫想象。但这种划分如同将一座城市的交通系统简化为‘步行’与‘驾车’两种模式，忽略了地铁、公交、自动驾驶乃至共享出行等复杂系统的协同运作。
事实上，区分能力的关键不在于使用了SFT还是RL，而在于训练过程是否在根本上拓展了模型的能力空间。换言之，如果训练仅仅是在已有知识图谱上进行更精准的权重调整，那么无论采用何种算法，其本质仍是能力激发；只有当模型开始生成人类经验中未曾显式编码的新颖策略、新推理路径或新表征方式时，才算真正实现了能力的创造。
能力激发的陷阱：为何微调难以突破天花板
当前的SFT本质上是一种数据驱动的拟合过程。给定一组输入-输出配对样本，模型通过最小化预测误差来调整内部参数。这种机制高度依赖外部标注质量，且容易陷入局部最优——即反复强化那些已在训练集中出现的模式，而对未知领域的泛化能力极为有限。即便引入了复杂的提示工程或思维链（Chain-of-Thought）策略，其效果也多体现在对既有知识的重组而非创造。
RLHF试图弥补这一缺陷，通过引入奖励信号引导模型探索更优的行为路径。但现实中的挑战在于，奖励函数本身往往是稀疏且主观的，容易导致‘奖励黑客’现象——模型学会绕过真正目标而最大化表面指标。此外，由于强化学习的样本效率低下，大规模部署面临巨大成本压力。更重要的是，若奖励机制未触及认知结构的根本重构，那么所谓‘创新’也不过是高维空间中已有方向的延伸。
自由能视角下的能力跃迁：从概率分布到认知架构
跳出传统机器学习框架，我们可以借助自由能原理（Free Energy Principle）重新审视这个问题。该理论认为，智能体为维持自身稳态，必须不断降低其对环境的意外程度（surprise），从而形成预测与感知之间的动态平衡。在此视角下，SFT相当于在固定先验分布内压缩观测数据的信息熵，而RL则是在此基础上更新信念以减小预期误差。
但要实现真正的能力创造，则需要改变先验结构本身——也就是让模型具备构建新假设、测试反事实场景、甚至质疑自身前提的能力。这意味着不能仅关注输出层面的对齐，而应深入模型内部的表示机制。例如，引入类似贝叶斯推理模块的结构，使模型能够量化不确定性并进行主动学习；或者设计元学习组件，使其能在少量示例中快速适应全新任务范式而不依赖大规模重训。
- 动态目标生成：未来的训练范式或许不再依赖于静态的人类偏好数据集，而是通过交互式环境反馈实时演化出多层次、多尺度的优化目标。
- 跨模态一致性约束：单一文本模态容易产生幻觉，结合视觉、音频等多源信息可提供更强的事实锚点，帮助模型建立更稳固的世界模型。
- 可解释性驱动的设计：只有当我们能清晰理解模型内部哪些部分负责记忆、哪些部分负责推理、哪些负责规划时，才能有针对性地干预以提升创造性。
值得强调的是，技术演进从来不是线性替代关系。SFT和RL在未来相当长时间内仍将是后训练的核心工具，但它们的角色将从‘决定性手段’转变为‘基础构建块’。真正的突破将来自这些模块如何有机整合，并与新的认知架构深度融合。
当前业界普遍追求‘更大’的模型与‘更多’的数据，却忽视了‘更好’的训练哲学。当GPT系列不断刷新参数量级时，我们是否思考过：这些数字背后究竟有多少是真实的能力增长，又有多少仅仅是统计幻觉？答案或许在于能否设计出允许模型‘犯错’、‘试错’甚至‘质疑权威’的训练机制——毕竟，科学史上最伟大的发现往往诞生于对既有范式的颠覆而非积累。
结语：迈向自主智能体的第一步
从能力激发到能力创造，不仅是技术路线的升级，更是对人类智能本质理解的深化。如果说过去二十年AI的发展聚焦于‘如何用算法模拟人脑’，那么下一个十年或将转向‘如何让人工智能像人一样思考’。这条路没有捷径，需要跨学科的合作、对基础理论的重塑，以及对失败宽容的文化。唯有如此，我们才能真正培育出不仅能回答问题，更能提出问题、改变世界的下一代智能系统。