破局非平稳：常步长强化学习的几何革命
从稳定性到动力学：ETD的悖论
在现代强化学习的理论基石中，时序差分（TD）学习因其简单高效而备受推崇。特别是强调时间差分（ETD）学习，它通过引入“emphatic weights”机制，成功地稳定了期望的 off-policy TD 更新，并巧妙地改变了投影几何结构。这种设计在理论上解决了许多 off-policy 学习中的收敛难题，但在实际工程应用中，一个关键的限制始终存在：它并不能决定常步长下的采样动力学行为。这意味着，虽然在理论步长下算法可能收敛，一旦步长固定，其在样本路径上的表现往往难以预测，甚至可能出现发散的风险。
几何视角的深层剖析
要理解这一悖论，首先需要回顾ETD学习的核心机制。传统的 TD 学习在处理 off-policy 数据时，往往受限于行为策略与目标策略的偏差。ETD 的引入并非简单的权重调整，它本质上是对 TD 更新方向的几何重新投影。这种投影旨在消除由重要性采样比带来的不稳定性，使得更新方向更贴近目标策略的价值函数曲面。然而，研究表明，这种“稳定的期望更新”并非等价于“稳定的采样动力学”。两者之间存在着微妙的界限，前者关注的是平均行为，后者则关注具体的样本路径演化。
ergodic 反例：二态系统的警示
文章通过构建一个 ergodic（埃尔米特）的两态反例，生动地展示了这一理论差异的实际后果。在该反例中，代理人在两个状态之间进行转移，形成一个循环的 Markov 链。研究者精心设计了转移概率和奖励结构，目的是在常步长设定下观察 TD 误差的演变轨迹。结果揭示了一个意外的发现：在特定的状态分布权重下，即使ETD的期望更新是稳定的，实际的采样动力学仍可能偏离收敛轨道，表现出持续的波动甚至发散的迹象。这个二态反例不仅是一个数学上的奇特案例，更像是一个缩影，揭示了当步长不再是无穷小量时，算法内在几何结构的脆弱性。
正则化修正：重塑收敛的可能性
面对常步长下的不稳定性挑战，文章并未止步于指出问题，而是积极探讨了正则化修正的路径。正则化技术在机器学习中屡见不鲜，但将其引入 ETD 框架需要谨慎的设计。研究表明，通过对投影算子施加适度的正则化约束，可以在一定程度上平衡更新的幅度和方向。具体而言，正则化可以抑制那些在样本路径上放大误差的分量，从而平滑采样动力学的剧烈波动。这种修正并非简单的参数调整，它实际上是对ETD投影几何的一种“软着陆”，试图在保留原有稳定性优势的同时，牺牲一部分收敛速度，换取在常步长设定下的鲁棒性。
前瞻与思考：步长调度的新范式
这项工作为常步长强化学习的理论边界提供了新的坐标。现有的大多数强化学习实践倾向于使用衰减的步长策略，以确保最终的收敛性。然而，在许多需要实时响应、非平稳环境或在线学习的场景中，常步长的使用是不可或缺的。这项研究指出，单纯依赖ETD的原始几何结构在常步长下的局限性，迫使我们重新审视步长调度的设计。未来的研究或许可以探索“几何自适应”步长，即根据当前的投影状态和样本分布动态调整步长大小，或者进一步研究如何在保持ETD投影优势的同时，通过算法内部的修正机制来应对样本路径的不确定性。这不仅是理论上的完善，更是连接理论强化学习与实际工业应用的重要一步。