ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models

2026-10-13 · 0 次浏览 ·来源: HuggingFace Papers

Reinforcement learning (RL) post-training improves robot foundation models (RFMs) beyond their demonstrations, but real-world deployment demands more: learning new tasks efficiently while retaining previously acquired behaviors. Existing continual RL methods on top of VLAs mitigate forgetting but rely on on-policy updates with limited forward transfer, whereas off-policy methods improve single-task sample efficiency without addressing learner persistence across tasks....

强化学习（RL）后期训练可以使机器人基础模型（RFM）在其示范之外实现更好的表现，但实际部署需要更多：在保留之前获得的行为的同时，高效地学习新任务。现有的基于VLA的持续RL方法虽然能够减轻遗忘，但依赖于有策略的更新，前向迁移受限。而无策略方法则提高了单任务样本效率，但无法解决学习者在不同任务之间的持续性问题。我们提出了ACCREU，这是一种持续无策略RL框架，它在任务之间携带着轻量级的行为者和评价器网络，允许每个阶段重用先前RL中获得的行为和价值知识。继承的评价器仅在当前任务的转换中进行调整，并指导当前任务的行为者学习，而先前的行为则通过将行为者调整到少量保留的示例中缓存的目标来保留。固定的可视化特征使继承的学习者及其回放与基础策略更新保持一致。在仿真中和真实机器人硬件上，包含丰富的接触组装序列的情况下，ACCREU 通过接近零的遗忘来加速后续任务的学习，并将真实机器人的训练时间缩短了 31.0% 至 68.5%。