Pallas：AI-RAN场景下大模型推理的主动KV Cache迁移新范式
从“断点续传”到“主动预判”：AI-RAN推理的状态迁移困境
在AI-RAN（AI无线接入网）的演进图景中，大语言模型的边缘部署已成为连接云端智能与移动用户的关键一环。然而，这一创新并非坦途。当移动用户在基站间漫游时，细致的网络行为——即基站切换——带来了一个技术瓶颈：活跃的推理请求与其背后庞大的键值缓存（KV Cache）之间的分离。KV Cache作为LLM推理过程中的短期记忆，其体量随着模型参数的膨胀而呈指数级增长，其位置的错置直接决定了服务质量的天花板。
业界目前主要面临两种截然不同的处理路径。第一种是“保守派”策略：将推理状态锚定在源基站，用户切换目标基站后，虽能保证服务不中断，但每生成一个新token都要跨越基站间的链路，这直接导致了输入token延迟（ITL）的显著攀升，成本也随之暴涨。另一种是“激进派”策略：在切换瞬间试图将KV Cache完整迁移至目标基站。虽然这能恢复本地服务的低延迟优势，但迁移过程本身——无论是搬运数据还是重新计算——都会在切换前后形成一段不可避免的服务中断时间（SIT），这对于对延迟敏感的交互场景是不可接受的。
这种“二元对立”式的权衡，正是Pallas框架试图打破的。它不再局限于事后的补救，而是试图在切换前夕，通过预判用户的移动轨迹，提前为目标基站做好准备。这种思路的转变，从根本上重构了AI-RAN中LLM服务的交付模式。
Pallas的核心机制：前缀重构与后缀流式
Pallas框架的设计哲学可以概括为“分而治之，先行准备”。其核心创新不在于单纯的数据搬运，而在于一种基于移动性预测的主动预热机制。当在线调度器——基于历史移动模式和实时网络 telemetry 计算出预备窗口后，Pallas便会在源端持续进行token生成的同时，悄然启动迁移准备工作。
在这个准备阶段，系统将即将到来的token序列拆分为两部分：一段被认定为“稳定的历史前缀”，另一段则是“随变化的演进后缀”。这是一个关键的分界点。目标基站利用其本地计算能力，对历史前缀进行“预填充”重构，这相当于在目标侧模拟了源端前几步的计算过程。与此同时，源基站则不再停下脚步，继续生成后缀段的KV Cache块，并通过链路将这些新生成的数据流式传输到目标处。
这种“左手画前缀，右手续后缀”的并行模式，巧妙地规避了数据搬运的原子性问题。当手机实际完成切换，接入目标基站的那一刻，目标侧已经拥有了完整的、时效性的KV Cache。解码器无需再等待数据传输或重算，即可直接接管推理，继续生成后续内容。这种机制的本质，是将原本“切换后的补偿成本”，提前转移到了“切换前的准备成本”，且后者可以通过并行处理进行有效摊平成本。
调度智能：基于Telemetry的动态窗口选取
Pallas之所以能在性能上实现质的飞跃，离不开其背后的在线调度器。该组件并非固定死一个迁移提前量，而是根据实时的网络状况和用户的移动预测动态调整“预取窗口”。如果预测用户将快速切换，调度器会提前拉宽窗口，给予目标基站更多准备时间；反之，若网络拥堵或移动轨迹相对稳定，窗口则相应收窄。
这种基于“运行时 telemetry（时序数据）”的自适应策略，确保了框架在不同网络环境下的鲁棒性。它不再是一种教条式的搬运，而是一种尊重当下网络负载、平衡带宽消耗与服务连续性的智能调度。这种机制的引入， effectively（实际上）解决了“何时开始迁移”这个经典难题，使得KV Cache的迁移不再是一次性的、笨重的动作，而变成了与用户移动节奏相匹配的持续性过程。
实验验证：从2.28倍到89.68倍的跃升
为了验证上述理论的可行性，研究团队基于 vLLM 框架构建了Pallas的原型系统，并进行了涵盖三款主流大模型、带宽从100Mbps至500Mbps的全方位实验。实验设计精妙，既测量了服务中断时间的缩减幅度，也对比了输入token延迟的变化趋势。
实验数据具有极强的说服力。在服务中断时间（SIT）的对比中，Pallas框架展现出了压倒性优势。相比于传统的目标端恢复方案，Pallas将平均SIT降低了惊人的2.28倍到89.68倍。这一范围的跨度揭示了问题的复杂性：在网络条件良好的场景下，优势不言而喻；而在带宽受限或移动频繁的恶劣环境中，Pallas带来的收益更是显著放大。这直接证明了“主动准备”模式在对抗服务中断方面的统治力。
另一方面，针对输入token延迟（ITL），Pallas相较于源端转发模式，实现了16.0%到50.0%的降低。这一结果意味着，即使在不牺牲服务连续性的前提下，用户感知的响应速度也得到了质的提升。源端转发虽然避免了中断，但因需跨基站传输每个token，其延迟天然受链路瓶颈制约；而Pallas通过本地重构前缀，有效截断了这条冗长的传输链路，让token得以在目标侧更快地被处理。
深度点评：技术路线的成熟与产业化的思考
从技术实现的角度看，Pallas框架的提出填补了AI-RAN领域LLM推理连续性的空白。它巧妙地利用了“时间换空间”的原则，将原本串行的迁移过程转化为并行的准备过程。这种设计不仅降低了系统的复杂度，更在一定程度上减轻了核心链路的压力。值得注意的是，Pallas并未试图通过牺牲模型精度或增加硬件成本来换取性能，而是通过软件层面的智能调度和状态重组，实现了性能的双重提升。
然而，任何新框架的落地都面临现实挑战。预测模型的准确性直接决定了预取窗口的有效性。如果用户的移动轨迹出现不可预测的突变，或者网络抖动严重，可能会导致预取资源的浪费或准备工作的中断。此外，对于极其庞大的KV Cache而言，即使是流式传输后缀部分，在有限的无线资源下也可能产生排队效应。但总体而言，Pallas展现出的韧性和可扩展性，使其成为解决AI-RAN推理状态迁移问题的有力候选方案。
前瞻展望：边缘智能的流动性基础设施
展望未来，Pallas所代表的“主动KV Cache迁移”思路，将极大地推动AI-RAN从当前的“定点服务”模式向“流动智能”模式转型。随着5G Advanced和即将到来的6G网络的商用，移动用户的速率和移动频率将呈现更加多样化的特征。Pallas这种能够根据实时网络状况灵活调整预取策略的框架，将成为边缘智能部署的基石。
未来的研究方向或许可以进一步细化。一方面，可以探索将多模态模型的推理状态也纳入迁移范围，拓宽适用场景；另一方面，结合硬件层面的缓存技术（如基于RRAM或光子计算的加速器），或许能进一步压缩迁移过程中的数据搬运开销。可以预见，随着Pallas这类框架的成熟和普及，用户的移动将不再是大模型服务的中断点，而将成为连接不同边缘节点的无缝过渡，真正实现“千帆竞发”背后的流畅体验。