6000万条向量只需6GB：LEANN如何把RAG的存储包袱甩给算力
在生成式AI席卷各行各业的今天，检索增强生成（RAG）几乎成了大模型落地的标配方案。然而，一个长期被忽视的尴尬现实是：为了让AI“记得住”更多知识，开发者往往需要构建比原始数据还要庞大数倍的向量索引。当语料规模达到千万级甚至亿级时，索引文件的体积会迅速膨胀到普通设备无法承受的地步，这成了端侧AI和私人知识库普及路上的一堵高墙。
UC伯克利Sky计算实验室的研究者直面了这一痛点，推出了开源项目LEANN。这套低存储近似最近邻索引系统建立在一个反直觉的前提之上：与其把 embeddings 全部存下来占着磁盘空间，不如在查询时重新计算。官方基准测试显示，一个包含6000万条文本块的维基百科索引，体积从201GB骤降至6GB。这项研究也斩获了MLSys 2026最佳论文奖，标志着“以算换存”的索引范式开始进入主流视野。
索引比数据还大：RAG的存储之痛
要理解LEANN的价值，得先看清传统向量索引的存储困境。以广泛使用的HNSW图索引为例，系统不仅要保存每个文本片段对应的嵌入向量，还要维护复杂的邻接图结构。研究团队给出的数据颇具说服力：一个76GB的原始语料库，需要173GB的嵌入存储空间，再加上15GB的HNSW图文件，总存储开销是原始数据的两倍以上。
这种膨胀在个人设备或边缘场景下几乎是致命的。一台主流笔记本电脑的硬盘通常只有512GB到1TB，扣除操作系统和应用程序后，剩余的存储空间很难容纳一个像样的企业级知识库。更不用说那些希望在本机运行私有RAG系统的开发者，他们往往被迫在“缩减知识库规模”和“升级昂贵硬件”之间做选择。
LEANN的解法：只存图，不存向量
LEANN的核心思路极其大胆：它几乎不存储任何完整的嵌入向量，而是保留一张经过剪枝的图结构以及一张紧凑的乘积量化（PQ）码本。当查询到来时，系统只在搜索路径上经过的节点处重新调用嵌入模型计算向量。
这听起来会让查询速度慢到无法忍受，但研究者通过三项关键技术让方案变得可行。首先是两级搜索机制：先用廉价的PQ距离对邻居节点做快速排序，只有排在前列的候选节点才会触发精确的嵌入重算。其次是动态批处理：系统会把多个搜索跳步中产生的候选节点攒在一起，比如每64个一组，交给GPU并行计算，大幅提升硬件利用率。第三是高保真度剪枝：图中绝大多数节点只保留少量边，而排名前2%的“枢纽”节点则保留更多连接，确保搜索路径不会被过度剪枝而丢失关键邻居。
消融实验显示，两级搜索带来了平均1.4倍的速度提升，加入批处理后进一步提升到1.8倍。即便如此，嵌入重算仍然占据了查询延迟的约76%，这说明计算开销仍是该技术绕不开的代价。
精度不输HNSW，延迟却是硬伤
在基准测试环节，研究团队在包含6000万条段落的RPJ-Wiki数据存储上，对NQ、TriviaQA、GPQA和HotpotQA等多个数据集进行了验证，所有指标均在90% Recall@3的条件下测量。
最亮眼的成绩出现在NQ数据集上。使用Qwen3-4B模型在RTX 4090平台上测试时，LEANN与HNSW都达到了25.5%的下游精度，而BM25仅为18.3%，PQ压缩方案为17.9%。在存储方面，LEANN只用了4GB，而HNSW需要188GB。这个对比极具冲击力——用不到原方案2%的存储空间，换来了完全一致的最终效果。
但代价同样真实存在。LEANN在NQ上的检索耗时2.48秒，相比之下HNSW只需0.05秒。如果后续生成环节耗时约20秒，那么端到端延迟就从20.05秒拉长到了22.48秒。在更复杂的HotpotQA任务上，LEANN的检索时间在Mac设备上达到了44.80秒，占到了整个流水线时间的一半以上。在RTX 4090上，不同数据集的检索时间从GPQA的1.12秒到HotpotQA的7.12秒不等。
这些数据勾勒出一个清晰的权衡轮廓：LEANN不是为低延迟在线服务设计的，它的目标场景是那些对存储极度敏感、但对响应时间有一定容忍度的离线或近离线任务。
以算换存：一场迟到的范式转换
LEANN的出现揭示了一个被行业长期忽视的结构性矛盾：在摩尔定律放缓和存储成本相对刚性的背景下，我们是否过度执着于“把一切都存下来”？过去十年，AI基础设施的演进逻辑一直是“用空间换时间”——缓存一切、预计算一切、索引一切。这种逻辑在数据中心里尚可维持，一旦推向端侧就立刻捉襟见肘。
LEANN的“以算换存”本质上是对这一惯性的纠偏。今天的GPU和NPU算力正在以前所未有的速度下沉到消费级设备，而存储的物理扩容却面临成本和体积的双重约束。在一个算力越来越便宜、存储越来越珍贵的天平上，动态重算显然比永久保存更具经济理性。
更深层的意义在于，LEANN让“个人RAG”从概念走向现实。当6000万条知识只需要6GB空间时，一台普通笔记本电脑就能跑起一个覆盖维基百科量级的语义搜索引擎。这对隐私敏感场景尤为关键——医疗记录、法律文档、企业内部资料不必再上传到云端，就能享受大模型带来的智能检索能力。
未来的路：压缩与速度的新平衡
展望未来，LEANN这类技术仍有明显的优化空间。嵌入重算占据四分之三以上的延迟，意味着如果嵌入模型本身能进一步轻量化，或者专用AI加速器能对动态批处理做更深度的硬件适配，延迟短板有望被显著补齐。此外，当前的量化方案主要围绕Contriever等中等规模嵌入模型展开，面对参数量更大的新一代嵌入器，压缩效率和精度保持能力仍需验证。可以预见的是，未来的向量索引不会只有“全存储”或“全计算”两个极端，而是会根据应用场景在两者之间形成连续的光谱。热数据走全缓存路径保证毫秒响应，冷数据走动态重算路径节约存储，中间态则采用分层混合策略。LEANN已经为这条光谱增添了关键的一环。
当AI从云端走向个人设备，存储效率将和推理精度同等重要。LEANN用一行开源代码证明，有时候最优雅的解决方案不是囤积更多数据，而是学会在需要时重新计算它。