双专家联动：打破视频生成质量与多样性的权衡之困
困局：高质量视频生成的成本与权衡
近年来，扩散模型在视频生成领域取得了令人瞩目的突破，能够从文本描述中合成流畅且细节丰富的视频内容。然而，这种高质量的产出并非来之不易。扩散模型的核心工作流程依赖于迭代采样，这意味着为了生成一个高质量视频，模型需要经过数百甚至上千个去噪步骤。这种迭代过程虽然理论上能保证生成结果的精细度，但在实际应用中却成为了严重的性能瓶颈。高昂的计算成本和漫长的生成延迟，直接限制了这些模型的普及和部署。
为了解决这一效率问题，研究者们开发了“少步蒸馏”技术，试图在极少的采样步数内（如两步或四步）即可获得可接受的生成效果。然而，少步蒸馏并非万能药，它暴露出一个棘手的质量-多样性权衡问题。业内主流的两大范式互有胜负：轨迹级蒸馏（如sCM）擅长保留运动结构和空间变化，生成的视频在运动轨迹上表现出较强的多样性；而分布级蒸馏（如DMD）则更侧重于像素级的外观细节和静止图像的质量，生成的视频在清晰度和真实感上更具优势。两者不可兼得，这迫使使用者在“动感逼真”和“画面清晰”之间做出艰难的取舍。
破局：DUET的噪声层级专家 duet
针对极端两步视频生成的挑战，研究团队提出了名为DUET的创新方案。其核心思想并非试图在单一模型内部寻找平衡点，而是通过“专家分工”来实现范式的互补。DUET采用了一个双专家系统的结构：一个专注于轨迹级蒸馏的sCM专家，另一个专注于分布级蒸馏的DMD专家。关键在于，这两位专家并非在同一时间、同一噪声层级下竞争，而是基于噪声等级的分工协作。
具体操作中，sCM专家负责高噪声阶段的生成。在视频生成的初始阶段，噪声水平极高，此时模型的主要任务是确立视频的整体结构、运动轨迹和空间布局。sCM专家利用其原生的轨迹级目标，在高噪声环境下铺设出多样化的结构框架，确保每一次生成都有不同的运动走向和构图变化。而与此同时，DMD专家则被调用到低噪声阶段。当噪声水平降低，视频的骨架已经基本成型后，细节的完善就成了当务之急。DMD专家接手低噪声步骤，利用其分布级蒸馏的优势，在保持结构不变的基础上，精细化地修饰画面的纹理、光影和外观细节，提升生成视频的真实感和清晰度。
这种分工的巧妙之处在于，两位专家的训练是完全独立的。sCM专家和DMD专家各自按照各自的原生目标进行训练，不需要通过复杂的损失函数组合来寻找一个折中的平衡点。这种“避开 loss-level 组合的优化难题”的策略，不仅简化了工程实现的复杂性，更避免了在单一目标下可能出现的模型退化或性能折损。DUET实现了“双赢”局面：它继承了sCM在结构多样性上的优势，同时也获得了DMD在质量上的提升，两者并非以牺牲一方为代价换取另一方。
深挖瓶颈与进阶：DUET+的RL引导适应
DUET的问世固然令人振奋，但研究团队并未止步于此。在实验过程中，他们敏锐地发现，即便有了专家分工，仍然存在两个残留的瓶颈。首先是“中继接口”问题，即sCM专家生成的高噪声结构与DMD专家接手的低噪声细节之间的衔接是否平滑；其次是高噪声阶段本身的表现瓶颈。为了突破这些限制，团队引入了强化学习（RL）进行专家适配。
DUET+在DUET的基础上进行了升级，利用RL算法对两位专家进行微调和协同优化。通过奖励机制的引导，系统学会了如何在高噪声阶段更好地为低噪声阶段做准备，以及如何在低噪声阶段更精准地利用结构信息来提升外观质量。这种基于反馈的适应性训练，使得DUET+在保留了原有多样性优势的同时，进一步提升了整体的生成质量。实验数据显示，DUET+不仅在视觉质量上有了显著提升，更成功保持了sCM级别的结构多样性优势，这种“质的飞跃”对于实际应用具有重要意义。
实证与展望：基于Wan2.1的性能跃升
为了验证所提方案的有效性，研究团队选取了Wan2.1-T2V-1.3B作为底层骨干模型，进行了系列的对比实验。结果令人印象深刻：在仅使用两步采样的极端条件下，DUET成功将sCM模型的两步生成质量提升到了接近DMD模型的水平。这意味着，用户不再需要牺牲太多的质量就能获得两步生成的速度优势。更值得一提的是，DUET保留了sCM近乎两倍于DMD的结构多样性优势。这一数据在行业内具有里程碑式的意义，它直接打破了以往“两步生成必然意味着结构单一”的固有认知。
随着DUET+的引入，整体质量进一步跃升，但关键的结构多样性优势得以延续。这组结果并非简单的参数调整，而是从根本上重新定义了两步视频生成的可能边界。研究者通过这一系列工作，确立了“基于噪声层级的专家专业化”这一简单而有效的范式。这不仅是对当前视频生成技术的一次重要补充，更为未来在更高步数或不同类型生成任务中的扩展奠定了理论基础。
展望未来，这一噪声层级专家协作的思路有望被移植到其他生成任务中，如图像生成、三维内容创作等。随着计算资源的日益宝贵和对实时生成需求的激增，这种能够在有限步数内兼顾质量与多样性的方法将具有广阔的应用前景。DUET的出现，或许就是通往更高效、更智能的生成式AI时代的重要钥匙。