守望者模式：一种可随时验证的LLM代理因子筛选机制
从全能代理到分工协作的范式转移
在当前的大模型浪潮中，语言模型代理展现出了惊人的能力，它们被设计用于执行从数据清洗到复杂决策的各类任务。特别是在量化金融领域，语言模型代理正逐渐接管起传统需要人工经验和大量计算资源的因子研究工作。研究者观察到，这些代理如今能够自主完成从构思投资因子、进行回测筛选到最终选股的全流程。然而，这种“全能”的能力背后隐藏着巨大的风险：如果任由代理自行判断哪些因子有效，很容易陷入过拟合的陷阱，产生在历史数据上看似光鲜但实则无实操价值的投资策略。如何在自动化的浪潮中保证策略的真实性和可靠性，成为了行业亟待解决的核心问题。
守望者：一个不可逾越的统计防线
针对上述挑战，该项研究提出了一种名为“守望者”的全新框架。其核心创新点在于引入了一个“冻结”的统计 referee，这个 referee 与语言模型代理形成了天然的对立与统一。与代理不同，这个 referee 是固定的、不可被代理修改的。研究者巧妙地设计了一套评分机制：Referee 并非基于代理在提交时的主张进行评判，而是仅依据因子提交后、市场结果真正揭晓的那一刻的数据进行打分。更关键的是，它通过一种“下注”机制来进行评估。这种基于时间后置的评审方式，天然地赋予了 referee “ anytime-valid”（ anytime-valid ）的特性，即其假发现保证在任何停止时间点下都能成立，无论代理采用何种提议策略。这种设计有效打破了代理在数据上“作弊”的可能性，为量化研究注入了一针定心丸。
三方博弈：提议者的差异化表现
为了验证这一框架的实际效力，研究者进行了跨越多维度的实验对比。首先是“提议者”的选择。研究选取了三种不同类型的提议者：一个基于脚本的系统、一个博弈多臂老虎机（Bandit）以及最关键的语言模型。这三者与“守望者” referee 以及三种故意设计有漏洞的 referee 进行了组合实验。实验场景包括一个包含植入真相的合成世界、一个探针作者环境以及最关键的十年 walk-forward（走向前检验） CSI 500 数据。
实验结果揭示了“Who judges sets the number of false admissions”（谁判定，假阳子数量就由谁决定）与“Who proposes sets the yield”（谁提议，收益由谁决定）这两个核心命题。在 referee 的严格性方面，守望者 referee 在脚本提议者面前展现出了强大的筛选能力：它 admitted（ admitted true factors ）的亚阈值因子仅为漏洞 referee 的 5-11 倍。更值得注意的是，无论提议者如何调整策略，这一差距始终无法被闭合。这表明，一旦引入了固定的统计判官，代理的策略调整在减少假阳子方面将失去效力，判断的权威性已然确立。
语言模型的独家技能：自诊断探针
在收益率的产生层面，不同提议者之间的差异同样引人注目。研究发现，语言模型提议者相比脚本，表现出了显著的优势；而与博弈多臂老虎机相比，语言模型则恰好“match”（匹配）了后者的表现。但这并非语言模型的全部故事。研究指出，语言模型之所以能在因子研究中占据一席之地，关键在于它具备“writing its own diagnostic probes”（写作自己的诊断探针）这一独家能力。博弈老虎机虽然也能提议因子，但缺乏这种自我反思和探针设计的能力。语言模型能够主动发现自身策略中的盲点，生成有针对性的测试案例，这种主动的探针设计能力，使得它在提议因子的质量上具备了不可替代的优势。
时间的代价：确认的滞后性
任何创新机制的背后，都必然伴随着某种代价。在本研究的框架下，这种代价表现为“时间成本”。研究者指出，一个被 referee 认证为真实因子的候选者，需要等待约 500 个交易日的市场验证期。这意味着，投资者在获得确认之前，无法将该因子投入实际使用。这种等待机制虽然保证了策略的真实性，但也不可避免地导致了认证投资组合夏普率的滞后。相比于无门槛、即时生效的 ungated（无门槛）方案，守望者框架下的证书价格正是“时间”。对于追求短期收益的策略而言，这 500 个交易日的窗口期可能显得尤为漫长。
责任的划分：流程与主体的界限
综上所述，这项研究并非简单的技术堆砌，而是对 AI 代理在复杂决策场域中角色定位的深刻重构。文章清晰地划定了责任边界：判断的职责属于流程，即那个不可逾越的统计 referee；而提议与仪器（探针、因子）的制作则归属于代理本身。这种“提议不审判，审判不干涉提议”的分工模式，既保留了语言模型代理在创新和探索方面的灵活性，又通过统计 referee 的固定性和时滞性，有效遏制了过拟合和虚假发现的风险。对于量化金融从业者而言，这提供了一种平衡自动化效率与策略安全性的新范式，值得业界深入研讨和实践探索。