UniPolicy：重塑生成式搜索广告的策略统一新范式
搜索广告的现状与多目标挑战
搜索广告作为连接用户意图与商业内容的核心环节，长期以来承担着平台变现的重任。在传统的搜索广告系统中，模型通常被训练以最大化单一业务指标，如每千次展现成本（eCPM），或是采用简单的奖励融合策略来处理多目标。然而，这种单一视角的对齐方式在面对现代搜索广告日益复杂的业务场景时，暴露出诸多短板。理想的搜索广告系统需要综合考量相关性、点击倾向及商业价值等异构目标，以在保障用户体验的同时实现商业价值的最大化。若仅关注单一指标，往往会导致全局次优的表现，即在某一方面取得提升的同时，牺牲了另一个关键指标的表现。
UniPolicy 框架的技术创新
针对上述挑战，研究者提出了 UniPolicy，即一个目标感知的多策略对齐框架。其核心创新在于构建了一个层级化的参数解耦机制。首先，UniPolicy 引入了目标特征前缀，这使得模型能够在处理不同业务目标时，通过前缀信息引导参数的激活方向，从而为不同目标预留了差异化的参数表达空间。其次，引入了稀疏 Mixture-of-Experts LoRA（MoE-LoRA）路由机制，这相当于为模型赋予了“专家级”的路由能力，根据当前的业务目标动态选择或组合最相关的专家路径，有效规避了全模型参数的无效更新。再 next，该框架设计了目标特征的残差全连接网络（FFN），进一步细化了目标特定的参数调整，确保了每个目标都能在共享的主干网络中获得精准的“微调空间”。
通过行为反馈强化偏好建模
在模型训练层面，UniPolicy 并非止步于简单的参数解耦，更在偏好学习方面进行了深度拓展。传统的强化学习往往依赖于点击等明确的反馈信号，但这往往忽略了“展现但未点击”的样本中的宝贵信息。UniPolicy 创新性地构建了多阶段行为反馈下的成对偏好。它精准地补充了未点击样本中的相对偏好信息，同时也增强了已点击候选在生成分布中的相对优势。这种基于偏好的训练方式，使得模型能够更精细地理解用户的点击意图与非点击意图的微妙差异，从而在生成广告内容时更具针对性。
推理阶段的并行与定制化
值得一提的是，UniPolicy 在实际部署的推理阶段表现出极高的灵活性。系统支持并行的、可由业务定制的多策略 Beam Search 策略。在固定的检索预算下，UniPolicy 能够灵活分配各个目标的候选配额。这种设计不仅保证了模型的并行计算效率，更允许平台根据当季的商业策略或用户行为趋势，对不同目标的权重进行实时调整。这种“检索与排序”相结合的灵活分配能力，为搜索广告系统的动态运营提供了坚实的技术支撑。
实验验证与性能深度点评
大规模的线下实验结果证明，UniPolicy 在平衡多项指标方面表现出色。与单一目标的强化学习基线以及简单的奖励融合基线相比，UniPolicy 能够在不牺牲检索质量的前提下，实现多项核心指标的均衡提升。这在实际的搜索广告场景中尤为关键，因为检索质量的下降意味着用户体验的流失，而纯粹的指标提升若无法转化，则对平台变现毫无意义。线下实验的成功验证为随后的在线测试奠定了坚实基础。
线上 A/B 测试的实战成绩
在真实的搜索广告系统上为期 7 天的 A/B 测试中，UniPolicy 的表现更是令人瞩目。数据显示，点击率（CTR）提升了 0.71%，展现每次会话收入（RPS）增长了 1.58%，广告收入更是直接增长了 1.32%。值得注意的是，在这些指标的提升过程中，系统的服务延迟保持了稳定，没有出现因模型复杂度增加而带来的响应速度下降。这意味着，UniPolicy 在追求商业价值的同时，并未牺牲用户体验的即时性，这种“兼顾性”的表现正是其能够通过平台审核并大规模部署的关键因素。
行业洞察与未来展望
从行业角度来看，UniPolicy 的出现标志着生成式搜索广告从“单一指标驱动”向“多目标协同”转型的重要里程碑。过去，广告优化往往是一个线性的、单一的过程，而现在，系统需要像管理一个多维度的生态一样，协调相关性、点击与变现之间的微妙平衡。UniPolicy 引入的目标感知前缀和 MoE-LoRA 路由技术，实际上是在模型层面实现了业务目标的“解耦”与“重组”，这种思路值得其他生成式 AI 应用领域借鉴。
展望未来，随着多模态搜索和对话式广告的兴起，业务目标的复杂度将进一步提升。UniPolicy 所构建的多策略框架框架有望在更广泛的场景中得到应用。未来的研究方向可能包括：如何在更细粒度的用户画像下进行策略细分，以及如何将此类目标解耦技术延伸至内容生成、推荐系统等其他生成式 AI 领域。对于广告平台而言，UniPolicy 提供的可定制化多策略搜索能力，将成为提升广告效率和用户满意度的核心引擎。