百度Unlimited OCR 2开源：长文档解析的注意力机制突围
引言：当文档长度突破传统边界
在人工智能落地产业的过程中，文档智能始终是一个看似成熟实则充满挑战的领域。传统OCR技术受限于上下文窗口，处理百页级别文档时往往需要分段切割、多次请求，不仅效率低下，还容易破坏文档的整体逻辑结构。百度近期开源的Unlimited OCR 2，正是瞄准了这一痛点——一个3B量级的模型，宣称能够一次性解析数百页的书籍、财报和研究报告，且解码成本几乎保持恒定。这在当前的开源生态中，确实是个值得关注的技术动向。
背景分析：长文档解析的技术困局
要理解Unlimited OCR 2的价值，必须先看清楚行业面临的现实困境。当前主流的多模态大模型在处理长文档时，普遍受困于注意力机制的二次方复杂度增长。随着序列长度增加，每个新生成的token都需要扫描更长的KV缓存，计算量和内存占用呈指数级上升。对于一份百页文档而言，仅图像token的输入就可能达到数万个，这让很多模型在实际部署时望而却步。
此前业界常见的应对策略包括文档分块、滑动窗口、稀疏注意力等，但这些方案往往以牺牲全局理解为代价。分块处理会割裂跨页的逻辑关联，简单滑动窗口则难以捕捉远距离依赖。百度在2026年6月推出的第一代Unlimited-OCR已经尝试在这一方向探索，但初代产品在百页文档基准上的表现几乎归零，说明技术成熟度仍有明显短板。
核心内容：SR-SWA如何打破长度魔咒
Unlimited OCR 2的核心突破在于引入了SR-SWA（Sparse Reference Sliding Window Attention，稀疏参考滑动窗口注意力）机制。这一设计的核心思路是将文本-视觉注意力压缩到一个固定的工作参考集合中，而非让每个解码步骤都遍历全部历史token。
具体而言，该机制设定了一个512 token的参考预算，通过128 token的局部窗口与在32 token块上进行top-16选择的组合来实现。16个32 token块恰好匹配512 token的预算上限。这种设计带来的直接效果是：无论输入文档是10页还是100页，单步解码的延迟和内存占用都保持近乎恒定。百度将其称为有限上下文窗口内的"无限视野"解析。
从架构层面看，模型采用了SAM ViT-B加CLIP-L的编码器组合，对接一个12层的混合专家（MoE）解码器。每个token路由至64个专家中的6个，外加2个共享专家。这种架构延续了DeepSeek-OCR的风格，但百度并未披露第二版的具体激活参数量。在推理配置上，模型支持单卡BF16运行，权重文件约6.7GB，百度测试时使用的是NVIDIA A800-80GB显卡。
在多页模式下，每页消耗273个图像token。这意味着百页文档在输出任何内容之前，已经需要处理27,300个输入token。传统全注意力机制在此场景下几乎无法实用化，而SR-SWA通过固定参考集的设计绕过了这一瓶颈。
深度点评：性能数据背后的真实图景
百度公布的基准测试结果颇为引人注目。在MPDocBench（数十页文档）上，Unlimited OCR 2取得84.6分，领先于Qwen3.8-Max的78.3分和Qwen-3.8-Flash-Next的77.4分。在更严苛的MarathonDocBench（数百页文档）上，该模型以77.1分位居第一，而第二名Kimi-K3仅为33.7分，第三名Gemini-3.8-Flash为28.6分。
但真正值得玩味的不是绝对分数，而是分数在不同基准间的衰减幅度。Qwen3.8-Max从MPDocBench的78.3分骤降至MarathonDocBench的22.9分，跌幅超过70%。相比之下，Unlimited OCR 2仅下降7.5个百分点。这一对比清晰揭示了一个事实：当前多数模型在文档长度增加时性能急剧恶化，而SR-SWA确实在维持长程一致性上发挥了作用。
初代Unlimited-OCR在MarathonDocBench上得分为0，二代产品的显著提升也说明技术迭代速度之快。不过需要客观指出，这些测试数据均来自百度自述，MarathonDocBench尚未公开发布，第三方独立验证仍有待观察。此外，模型在标题层级识别（TEDS）子项上得分48.2，是其最低分项，说明在文档结构理解上仍有改进空间。
开源策略方面，百度选择MIT许可证释放权重，代码托管于GitHub。这一决策对学术界和中小型企业意义重大——无需高昂的API调用费用或商业授权，即可在本地部署百页级文档解析能力。在数据隐私要求较高的金融、法律、医疗等领域，本地化部署的价值往往比性能本身更关键。
前瞻展望：技术进化的方向与隐忧
Unlimited OCR 2的开源标志着长文档解析进入新阶段，但技术演进仍面临多重挑战。首先，SR-SWA虽然控制了解码成本，但图像编码和总运行时间仍随页数线性增长。对于千页级文档，整体延迟可能仍然可观，这需要后续在编码端进一步优化。
其次，模型的通用性有待拓展。目前测试主要集中在财务报表、学术论文等结构化程度较高的文档类型，对于手写体、复杂图表、多语言混排等场景的表现尚未充分披露。真实世界文档的多样性远超基准测试所能覆盖的范围。
从生态角度看，开源模型的快速迭代可能重塑OCR领域的竞争格局。当中小团队也能免费获得百页文档解析能力时，传统商业OCR厂商的护城河将被迫向更高附加值的场景迁移，如深度语义理解、跨文档知识抽取、自动化决策支持等。
长远来看，文档智能的终极目标不是"看懂每一页"，而是"理解整本书"。Unlimited OCR 2在长度维度上的突破只是第一步，接下来需要在知识关联、逻辑推理、事实校验等认知层面持续深耕。只有当模型不仅能还原文档内容，还能识别其中的矛盾、偏见和隐含假设时，文档智能才真正具备替代人类专家的能力。
这场技术竞赛才刚刚开始，但可以确定的是，注意力机制的创新仍将是推动边界拓展的核心引擎。百度此次开源无疑为行业提供了一个可借鉴的技术范本，后续能否形成社区共建的生态，将决定其长期影响力。