赋予AI“肌肉记忆”：SkillLens如何重塑计算机使用代理的视觉思维
从“识别”到“理解”：计算机使用代理的上下文盲区
在当前的AI浪潮中，计算机使用代理已成为连接人类意图与机器执行的关键桥梁。这些代理被赋予了通过视觉感知软件界面、点击按钮、填写表单的能力。然而，正如业内资深观察者所指出的，一个显而易见的痛点正逐渐暴露无遗：代理们往往具备“识别控件”的能力，却缺乏“理解工作流”的能力。
这并非个例。当一个代理面对一个复杂的软件界面时，它可能能够精准定位“保存”按钮，却难以判断当前是否处于“编辑模式”还是“预览模式”。更关键的是，它可能不知道在当前上下文下，哪一个控件才是决定任务成败的关键一步，也就更谈不上基于证据确认进度了。这种“视觉 procedural memory（视觉程序记忆）”的缺失，直接导致了决策的低效和错误率的上升。
技术上看，现有的训练数据来源呈现出两极分化的局面。一方面，原始的交互痕迹蕴含了宝贵的程序记忆信息，记录了用户从启动应用到完成任务的完整轨迹；但另一方面，这些痕迹往往冗长且充满噪音，对于模型的条件化训练极不友好。另一方面，纯文本形式的技能描述虽然精炼，但恰恰牺牲了使整个过程具有适用性的视觉状态信息。这种“信息富余与信息缺失”的矛盾，成为了制约计算机使用代理性能提升的核心瓶颈。
Visual Skill Cards：构建视觉化的程序记忆
在这一背景下，SkillLens项目应运而生，它试图通过一种全新的数据结构——可视化技能卡（Visual Skill Cards，VSCs），来填补这一空白。VSCs 的核心创新在于其“状态条件化”特性。它不再将交互记录简单地视为时间序列，而是将其重新构建为“可重用的程序”与“适用性线索、视觉证据和验证信号”的有机绑定。
这种设计哲学巧妙地避开了之前提到的两难困境。它既保留了原始交互痕迹中蕴含的丰富上下文，又通过精心设计的机制过滤掉了冗余噪音。每一个VSC都像是一张精心整理的“操作手册”，明确告诉模型：在什么特定的视觉状态下，哪一步操作是相关的，以及如何通过视觉证据来验证这步操作是否正确执行。这种“视觉即记忆”的范式转移，为计算机使用代理提供了一条从“盲目试错”到“有据可循”的进路。
两条并行的技术路径：检索增强与学生模型蒸馏
SkillLens 的技术架构并非单一的，它巧妙地提出了两条并行且互补的技术路径，分别对应检索增强和知识蒸馏两种范式。
首先是检索增强范式。在推理阶段，SkillLens 系统能够根据当前的视觉上下文，从海量的VSC库中检索出最相关的几张“技能卡”。更为关键的是，它并非一次性地将所有卡片信息灌输给模型，而是采用了“选择性扩展”策略。系统会精准识别当前任务所需的证据片段，仅将这些必须的证据传递给固定的视觉语言模型执行器。这种“所取所用”的机制，既保证了上下文信息的完整性，又规避了信息过载带来的计算负担和注意力分散问题。实验数据显示，这种方法使得原本固定的GPT-5.4-mini执行器在Step SR指标上提升了11.6个百分点，Overall指标提升了2.9个点，这在一定程度上验证了检索机制的有效性。
另一方面，SkillLens 同样重视模型内部能力的强化。通过 CardDistill 方案，系统利用VSC作为“特权教师”上下文，训练一个无需在运行时进行卡片检索的学生模型。这一过程类似于知识蒸馏，但其教师提供的上下文更加具体、视觉化且富有针对性。实验结果表明，基于Qwen3-VL-2B的学生模型在Step SR指标上较基线提升了12.0个点，Overall指标提升了3.2个点。这意味着，通过这种方式，即使在没有外部检索支持的情况下，模型也能内化并复现这些高价值的视觉程序记忆。
深度点评：从痕迹到智慧的跃迁
回顾SkillLens的技术路线，我们不难看到它所代表的一种范式升级。过去，计算机使用代理的训练往往依赖于海量的标注数据或简单的模仿学习，这导致了模型在面对新环境或非标准流程时易出现“系统性失效”。而SkillLens引入的VSC机制，本质上是在教代理如何“思考”而非仅仅“执行”。
从工程实现的角度来看，VSC的构建过程——从混合交互经验到可视化技能卡的转化，实际上是一场对“粗粒度痕迹”向“细粒度智慧”的重构。它解决了数据噪音问题的方法不仅提升了精度，更为模型提供了可解释的决策路径。对于用户而言，这种可视化的记忆形式也便于调试和理解：当模型做出异常决策时，开发者可以直接追溯对应的VSC，找出上下文匹配失败的原因。这种“可解释性”与“性能提升”的双重收益，使得该技术在学术界和产业界都具有极高的参考价值。
然而，我们也必须看到，任何新技术的落地都面临着实际部署的挑战。VSC的构建依赖于大量的、高质量的交互痕迹数据，如何在隐私保护与数据有效性之间取得平衡，以及如何定义标准化的“视觉证据”格式，都是需要进一步探索的问题。但总体而言，SkillLens所展现出的改进幅度——特别是在保持模型 frozen（冻结）状态下仍能取得显著提升的情况下，其技术可行性和实用潜力不容小觑。
前瞻展望：具身智能的下一站
展望未来，SkillLens及其衍生的VSC技术有望在更广阔的领域发挥作用。目前的实验主要集中在GUI（图形用户界面）任务上，但其背后的逻辑——将视觉状态与可执行的程序逻辑绑定——完全可以迁移到机器人导航、工业自动化甚至元宇宙交互等场景。想象一下，一个机器人在复杂的仓库环境中作业，它不再需要为每一个新的任务重新学习，而是能够调用已有的“视觉技能卡”，快速定位工具、识别工序并执行作业。
此外，随着多模态模型体积的持续膨胀和推理成本的关注，“检索增强”与“模型蒸馏”相结合的这种高效率范式，将成为未来AI系统在有限算力资源下追求性能极限的重要路径。SkillLens不仅仅是一个具体的工具或模型，它更像是一块基石，提示着研究者去挖掘如何让AI系统具备更接近人类的、基于经验的、具有视觉意识的决策能力。对于关注计算机使用与智能体交互的从业者而言，密切关注这一领域的后续发展，将是把握AI交互进化脉络的关键。