破局：LLM程序进化中的跨任务记忆迁移范式
从孤岛到共享：LLM程序进化的根本性转向
在大模型时代，LLM-based program evolution systems（LLM程序进化系统）已成为研究热点。FunSearch和AlphaEvolve等项目展现出了极强的算法发现能力，能够在数学优化和系统工程等领域生成全新的解决方案。然而，这些系统的核心痛点在于其“任务孤立”本质。每当一个新任务开始，系统都需要从零开始探索，而前一次任务中积累的宝贵搜索经验往往在任务完成后被彻底抛弃。这种做法虽然在某程度上防止了负迁移的风险，但也浪费了巨大的累计知识资源。行业内普遍认为，要实现真正的通用智能代理，模型必须具备跨任务的知识迁移能力，而非仅仅是针对单一问题的一次性求解。
ε-MemEvo的核心架构：记忆即策略
针对上述痛点，ε-MemEvo应运而生。该框架的核心创新不在于增加模型参数，而在于重新定义“经验”的存储与调用方式。传统的程序进化系统通常将历史记录保留为可执行的代码片段或具体的解决方案。而ε-MemEvo则将先前的经验转化为“任务无关的策略记忆”。这些记忆并非原始代码的简单复制，而是对成功算法策略的高度抽象与概括。这种抽象形式天然具备跨任务迁移的潜力，因为策略层面的知识比具体实现细节更具普适性。
更重要的是，ε-MemEvo引入了一个关键的自适应注入门控机制。在检索记忆的过程中，系统会评估这些策略记忆与当前任务的语义相似度。如果直接注入不匹配的记忆，极易导致负向迁移，即“破坏性干扰”。为了解决这一难题，门控机制能够动态判断是否需要注入记忆，以及注入的强度。这种“精准输送”确保了只有在最有益的时候，才将相关策略唤醒，从而在保证安全的前提下实现知识的复用。
实验验证：在多样化基准上的突破性成绩
为了验证该框架的有效性，研究团队在8个涵盖数学优化与系统工程的多样化优化基准测试上进行了评估。采用了内容级的留一出协议，即在测试目标任务时，会剔除该任务特有的记忆条目，从而模拟真实的跨场景迁移场景。实验选取了GPT-5作为主干模型，以AdaEvolve作为对比基线。
结果令人振奋。在8个任务中，ε-MemEvo均实现了对AdaEvolve的超越。具体而言，AUCC（Area Under the Curve of Convergence）指标上展现出了显著优势，平均相对提升达到了+8.7%。这意味着在相同的计算预算下，该框架能够找到更优的解，或在相同精度下使用更少的资源。此外，早期收敛速度也获得了显著加速，平均提升了+9.4%。对于工业界而言，这转化为更快的时间到价值和更低的算力成本。值得注意的是，这些性能提升并非以牺牲效率为代价，实验表明，该框架的计算开销不足1%，属于可忽略不计的范畴。
深度点评：安全性与可解释性的双重保障
从行业分析角度来看，ε-MemEvo的技术路径具有里程碑式的意义。首先，它巧妙规避了LLM程序进化中最大的风险点——负迁移。许多先前尝试通过直接复制历史最优解来加速搜索的方案，往往因为任务上下文的变化而适得其反。ε-MemEvo通过语义匹配和强度调节，实现了“安全带”式的知识迁移，这在技术上是一次重要的突破。
其次，该框架对“记忆”的解释性处理值得关注。文中提到的“data-updated posterior”表现出可解释性：在搜索改进的阶段，系统倾向于“跳过”记忆干扰；而在早期和后期的 plateau（ plateau期）阶段，则从“跳过”转变为提供“提示”。这种动态的策略调整模拟了人类专家在不同阶段的辅导方式——初期不干扰直觉探索，后期提供经验指引。这种模拟使得系统行为更加透明和可控，符合AI可解释性日益严格的监管趋势。
最后，该框架的轻量级特性是其落地最大的优势。1%的计算开销意味着在现有的GPU集群或云服务配置下几乎无需额外投入即可获得显著收益。这对于希望利用现有LLM平台的企业和研究机构来说，是一个极具吸引力的“免费午餐”。
前瞻展望：从孤岛走向网络化的智能体生态
展望未来，ε-MemEvo所开启的跨任务记忆迁移范式，有望重塑LLM程序进化的生态格局。当前，各个研究团队和商业实验室往往各自为战，积累的经验各自闭环。未来，我们有理由期待，基于此类框架的记忆库将演变为一个共享的、去中心化的知识网络。不同的LLM代理可以基于同一份策略记忆进行构建，这将极大降低算法发现的准入门槛。
此外，结合强化学习与元学习的方法，或许可以进一步完善记忆的提取与更新机制。例如，系统可以根据全局性能反馈，自动淘汰过时或低质量的策略记忆，确保记忆库的持续活力。对于LLM程序进化的从业者而言，关注点将不再仅仅局限于单一模型的参数规模，而是如何高效地挖掘和利用这些“隐形的策略资产”。
综上所述，ε-MemEvo不仅是一个技术方案的创新，更是一场认知范式的转移。它证明了，在LLM的能力边界内，通过合理的架构设计，是可以实现知识的复用与迁移的。这为解决日益复杂的工程问题提供了新的思路，也标志着LLM程序进化从“孤岛模式”正式迈入“网络化协作时代”。