NVIDIA Bolt 4GB上线：跳过SFT直接RL训练，小模型跑本地智能体的新路径
引言
大模型竞赛进入深水区后，业界注意力正从单纯扩大参数规模转向如何让模型在终端设备上真正跑起来。NVIDIA最近发布的Nemotron 3.5 Bolt E4B 4GB，就是这一趋势下的典型产物——一个总参数量8B、有效参数4B、支持64K上下文的小语言模型，目标直指本地运行的语音助手、游戏角色和机器人接口。在RTX显卡、Jetson边缘计算平台乃至Spark硬件上，它只需要3.1到4.3GB的显存空间。
这个显存占用数字看似平常，实则暗藏深意。对于本地部署而言，4GB的余量意味着开发者可以在同一设备上同时加载语音识别模型和视觉理解模型，而不必依赖云端算力。这种'刚刚好'的资源控制，正是边缘AI落地的核心诉求。
背景分析：从云端到终端的算力迁移
过去两年，大模型的发展轨迹呈现出明显的两极分化。一边是参数量不断攀升的云端巨兽，追求通用能力的极致；另一边是面向终端场景的小模型，追求在有限算力下完成特定任务。NVIDIA的选择显然站在后者阵营，但其策略并非简单压缩模型尺寸，而是重新思考训练路径本身。
传统的开源小模型发布流程通常是：选取开源基座模型，进行监督微调（SFT）适配任务，再通过人类反馈强化学习（RLHF）对齐偏好。NVIDIA团队在这款模型上做了大胆取舍——他们完全跳过了SFT阶段。根据技术报告的解释，监督微调虽然提升了工具调用能力，却损害了基座模型的对话质量，导致输出变得冗长啰嗦。这种'按下葫芦浮起瓢'的困境，在模型工程中并不罕见。
核心内容：训练策略与技术细节
Bolt E4B的技术路线可以概括为'纯强化学习驱动'。研发团队使用NeMo-RL和NeMo-Gym框架，同时应用了基于验证的强化学习（RLVR）和基于人类反馈的强化学习（RLHF）。每个训练样本都在推理模式和非推理模式下运行，批次中保持非推理样本与推理样本2:1的比例。这种设计让模型既能进行深度思考，也能在需要时给出快速回应。
训练过程中还有一个容易被忽略但至关重要的细节：长度惩罚机制。在GenRM环境中，团队对输出长度施加惩罚，防止模型在训练过程中越来越啰嗦。这直接对应了本地语音交互的硬性要求——回复必须简短、及时，不能让用户对着设备等待数秒。
部署层面，NVIDIA将BF16精度检查点通过重要性矩阵校准量化到Q4_K_M格式，校准数据使用了约100万个token的强化学习采样结果。随模型发布的还有一个DFlash草稿模型，用于推测解码加速。在RTX 5070上的实测数据显示，启用DFlash后Bolt达到每秒272.6个token的生成速度，相较Gemma 4 E4B配合其MTP草稿模型的225.9 token/s，提速约21%。
性能表现：15/21的基准胜率
NVIDIA将21个基准测试划分为五个能力维度进行评估，所有分数均为BF16精度下通过NeMo-Gym测试框架测得。Bolt在推理模式下拿下15项第一，对比对象包括Gemma 4 E4B、Qwen3.5-4B以及NVIDIA自家的Nemotron 3 Nano 4B。
最亮眼的是IHEval测试，Bolt拿到84.8分，而Gemma 4 E4B为67.0分，Qwen3.5-4B为60.6分。但在Tau2-Bench上表现相对薄弱，得分为55.1分，落后Qwen3.5-4B的75.1分约20个百分点。这种不均衡的表现在小模型中较为常见，不同架构和训练数据对各基准的适配程度差异显著。
与前代产品相比，Bolt的平均得分提升约40%，且在启用推理功能对比时输出token数量减少约80%。后者意味着更低的延迟和更短的语音回复，对实时交互场景至关重要。
深度点评：跳过SFT的风险与回报
完全跳过监督微调这一步，在工程实践中是个相当激进的决定。SFT通常被视为让模型'学会说话'的基础阶段，直接上强化学习就像让还没学会走路的孩子跑步。NVIDIA敢这么做，很大程度上得益于Gemma 4 E4B基座本身已经具备不错的对话能力，RL只需要做行为对齐而非从零教学。
这种策略的优势在于避免了SFT带来的灾难性遗忘和风格漂移。但代价也很明显：如果基座模型在特定领域的能力不足，后续强化学习很难凭空补上。这解释了为什么Bolt在某些基准上表现突出，而在另一些基准上差距明显。
另一个值得关注的点是训练数据的公开。NVIDIA承诺公开完整的数据集和训练配方，这对开源社区的价值可能超过模型本身。开发者可以基于这套配方针对不同场景做二次训练，而不必从零摸索强化学习的超参数组合。
从产品定位看，Bolt被明确称为NVIDIA ACE游戏角色技术的第三代小模型。结合技术报告中展示的Reachy Mini机器人演示——Jetson Orin Nano 8GB上运行，Cosmos 3 Edge负责视觉，Bolt负责语音回复和工具调用——可以看出NVIDIA正在构建一套完整的边缘AI软件栈，硬件是入口，模型是黏合剂。
前瞻展望
本地智能体的爆发需要三个条件同时成熟：足够小的模型、足够强的推理、足够低的延迟。Bolt在第一个和第三个条件上给出了当前最优解之一，但第二个条件仍有提升空间。未来迭代可能会在保持4GB显存占用的前提下，通过架构改进而非单纯扩大参数来提升复杂推理能力。
更值得观察的是这种'基座+纯RL'的训练范式是否会成为行业新标准。如果更多开发者验证了跳过SFT的可行性，开源模型的发布流程可能被彻底重构——基座模型质量成为核心竞争力，而下游适配更多依赖强化学习而非监督微调。
对于游戏开发者和机器人厂商而言，4GB显存留出的空间意味着更多可能性。语音、视觉、语言三个模态终于可以在消费级显卡上共存，这可能会催生一批此前受限于算力而无法实现的本地智能应用。真正的端侧AI时代，或许就从这种'刚刚好'的资源配置开始。