toolin.ai logo
toolin.ai
首页
AI工具
AI技能包
AI资讯
精选推文
AI提示词
提交AI工具提交
toolin.ai logo
toolin.ai

AI玩家的创作利器库,发现最佳AI工具组合,提升您的创作效率

AI工具1,343个
技能包11个
产品功能
  • AI工具
  • AI技能包
  • AI资讯
  • 精选推文
  • 提交AI工具
关于我们
  • 关于Toolin
  • 联系我们
  • 合作洽谈
  • 更新日志
关注我们
© 2025 toolin.ai. All rights reserved.
服务条款隐私政策

Mandol 实操:构建无 LLM 调用的 Agent 长期记忆

2026/07/13
·toolin小编

中科院软件所开源 Mandol,用 SemanticMap + SemanticGraph 统一 KV/向量/图存储,检索阶段零 LLM 调用、5.4 倍检索提速,LoCoMo/LongMemEval 双榜最优。

Mandol 实操:构建无 LLM 调用的 Agent 长期记忆
Mandol 实操:构建无 LLM 调用的 Agent 长期记忆
2026/07/13

Mandol 实操:构建无 LLM 调用的 Agent 长期记忆

中科院软件所开源 Mandol,用 SemanticMap + SemanticGraph 统一 KV/向量/图存储,检索阶段零 LLM 调用、5.4 倍检索提速,LoCoMo/LongMemEval 双榜最优。

Mandol 解决了什么三大核心组件1. 层级记忆模型2. Agglomerative 语义数据结构3. 定量化查询机制开始前的准备实测性能(参考)如何把 Mandol 思路用到自己的 Agent 上第一步:统一存储层第二步:分层抽象第三步:零 LLM 检索适用与不适用场景验证结果
AI教程

长期对话 Agent 的记忆是个老大难:传统方案把向量库、图数据库分开放,跨库 I/O 延迟高;RAG 检索引入噪声、漏掉关联线索、还无法控制 token 预算。中科院软件所联合 Microsoft Research 开源的 Mandol 提出了一个"agglomerative(聚合并)"思路——把碎片化的存储和表示统一成一个 memory-native 架构,检索过程完全不调用 LLM,还在两个主流长期对话 benchmark 上拿到最优总精度。

Mandol 解决了什么

现有 Agent 记忆系统的两个核心痛点:

  1. 存储碎片化:向量库 + 图数据库的异构组合,记忆信息被打散,跨库 I/O 拉高延迟
  2. 检索质量差:常见 RAG 引入噪声、漏掉关联线索、缺 token 预算控制,拖累 LLM 的准确率和效率

Mandol 的应对是把所有记忆表示和存储聚合到一个统一架构里。

三大核心组件

1. 层级记忆模型

记忆被分成两层,统一表示为结构化语义图:

  • 基础层(basic layer):代表原始记忆信息
  • 高层抽象层(abstract layer):把基础记忆 agglomerate(聚合并)成可追踪的抽象记忆

这种分层让 Agent 既能查到原始事实,也能用更高层的抽象记忆做推理,而不是只能靠向量相似度捞碎片。

2. Agglomerative 语义数据结构

这是 Mandol 的工程核心:用 SemanticMap + SemanticGraph 的组合,原生融合三种结构:

  • 键值(key-value)
  • 向量(vector)
  • 图(graph)

并提供统一的混合检索算子,消除跨库 I/O。检索时不再需要在向量库和图库之间来回跳,所有操作在统一数据结构上完成。

3. 定量化查询机制

整个查询流程不调用 LLM,包含三个能力:

  • 查询自适应路由(query-adaptive routing)
  • 定量去噪与冲突解决(quantitative denoising and conflict resolution)
  • token 受限的上下文生成(token-constrained context generation)

这意味着检索阶段不烧 token,成本和延迟都可控。

开始前的准备

  • 论文:https://arxiv.org/abs/2606.29778
  • 作者:中科院软件所(Yuhan Zhang 等)+ Microsoft Research(Wentao Wu)
  • 领域分类:cs.DB / cs.AI / cs.CL / cs.IR

实测性能(参考)

指标Mandol 表现
LoCoMo(长期对话 benchmark)代表性系统中最优总精度
LongMemEval(长期对话 benchmark)代表性系统中最优总精度
检索提速5.4 倍(10 QPS 并发)
插入提速4.8 倍(10 QPS 并发)
消费级硬件延迟保持低延迟

对比对象是"representative agent memory systems"——也就是说,在主流 Agent 记忆系统里,Mandol 在精度和速度两个维度上都拿到了最好或并列最好的成绩。

如何把 Mandol 思路用到自己的 Agent 上

论文实现细节需要参考 arXiv 全文,但如果你想在自建 Agent 上借鉴这套思路,可以按这三层来重构记忆模块。

第一步:统一存储层

把原本分散的向量库和图库合并成一个统一结构:

  • 每条记忆同时承载 KV 字段、向量 embedding、图节点/边信息
  • 不要让同一条记忆在两个库里各存一份再 join——这正是传统方案的延迟来源
  • 用 SemanticMap(按 key 快速定位)+ SemanticGraph(走关联)的组合代替

第二步:分层抽象

不要只存原始记忆,定期把基础记忆聚合成抽象记忆:

  • 基础层:每次对话的原始事实、用户陈述、事件
  • 抽象层:从多条基础记忆归纳出的偏好、习惯、长期关系
  • 抽象记忆要可追踪——能回溯到它由哪些基础记忆聚合而来,便于纠错和更新

第三步:零 LLM 检索

把检索过程做成纯计算流程:

  • 路由:根据查询类型选择走 KV 查找、向量相似、还是图遍历,或混合
  • 去噪:用定量化方法(而非让 LLM 判断)过滤掉不相关或冲突的记忆
  • token 控制:硬性 token 预算,按相关性得分截断,避免把过多上下文塞给主 LLM

这三步合起来,就是 Mandol 论文里"retrieval without involving LLMs"的核心。

适用与不适用场景

适合用 Mandol 思路:

  • 长期对话 Agent(陪伴、客服、私人助理)需要跨 session 记忆
  • 记忆量大到向量库 + 图库的组合开始拖延迟
  • 对每次查询的 token 成本敏感,不希望在检索阶段也烧 LLM 调用

不太适合:

  • 单轮 QA、无记忆需求的场景
  • 记忆量很小(几百条以内),简单向量检索就够
  • 强依赖 LLM 推理做记忆合并的任务(Mandol 的优势在零 LLM 检索,不在合并)

验证结果

接入 Mandol 思路后,重点看三个指标:

  1. 检索延迟:相比"向量库 + 图库 join"的旧方案应有数量级提升(论文是 5.4x)
  2. 插入吞吐:写入新记忆不应成为瓶颈(论文是 4.8x 提速)
  3. 长期对话精度:在 LoCoMo / LongMemEval 这类标准集上对比基线应有提升

如果你的 Agent 在并发场景下延迟仍然高,检查是否真的消除了跨库 I/O;如果精度没提升,检查分层抽象层是否真的在做聚合并,而不是只多存了一份冗余。

一手来源:

  • Mandol 论文(arXiv:2606.29778)
  • 论文 PDF
所有文章

作者

avatar for toolin小编
toolin小编

分类

  • AI教程
Mandol 解决了什么三大核心组件1. 层级记忆模型2. Agglomerative 语义数据结构3. 定量化查询机制开始前的准备实测性能(参考)如何把 Mandol 思路用到自己的 Agent 上第一步:统一存储层第二步:分层抽象第三步:零 LLM 检索适用与不适用场景验证结果

相关文章

MCP 推出企业统一授权:一次登录,所有连接器自动就绪
AI教程

MCP 推出企业统一授权:一次登录,所有连接器自动就绪

Model Context Protocol 发布 Enterprise-Managed Authorization 扩展,企业可通过 Okta 等 IdP 集中管控 MCP Server 访问,用户零配置首次登录即连。

avatar for toolin小编
toolin小编
1天前
ShotStream:实时导演多镜头长视频的开源框架(ECCV 2026)
AI产品

ShotStream:实时导演多镜头长视频的开源框架(ECCV 2026)

港中文 & 快手可灵联合开源 ShotStream,首个实时流式多镜头长视频生成框架,生成速度提升 25 倍,支持边生成边调整情节。

avatar for toolin小编
toolin小编
21小时前
歌歌AI(GoGo):国内首个纯中文 AI 音乐模型实操解析
AI产品

歌歌AI(GoGo):国内首个纯中文 AI 音乐模型实操解析

专为华语优化,单卡 10 秒生成一首中文歌,已接入抖音、剪映等七大平台。歌歌AI 模型能力、接入方式与创作者变现路径。

avatar for toolin小编
toolin小编
21小时前