记忆越多,智能体反而越笨?WikiTrace 给每条经验留了一条“证据链”
一个原本能把花瓶拿到台灯下的智能体,读完历史经验后,却只打开台灯就宣布任务完成。它不是在偷懒,而是照做了记忆里的一条规则:“物体位于点亮的台灯旁边,任务就结束了。”问题在于,这条规则连它自己的原始执行记录都解释不了。
这类翻车比“没有经验可用”更隐蔽:平均分可能仍在上涨,但一批本来会做的任务被记忆带偏了。WikiTrace 抓住了这个矛盾——经验可以压缩,证据不能随手扔掉。
核心摘要
这篇论文研究的不是“怎样从经验里提炼更多规则”,而是“规则错了,智能体能不能回头查证据”。WikiTrace 把每条 insight 链接到成败诊断 compilation,再链接到未修改的原始轨迹;遇到细节不足、规则冲突、失败来源或动作报错时,智能体用终端工具下钻核查。在五个基准的八个测试套件上,它平均得到 90.2,比无记忆高 10.7 个点,比使用相同 insights 但不给证据高 3.2 个点;Regression 从 6.5% 降到 4.5%。我觉得它最值钱的不是三层目录,而是把“记忆是否可信”变成了执行时可以追问的问题。
论文信息
- 论文标题:Don’t Just Trust Your Memory: Evidence-Linked Memory Reduces Memory-Induced Degradation in LLM Agents
- 作者:Yukyeong Lee、Yumin Choi、Jinheon Baek、Sung Ju Hwang
- 机构:论文页面列示 KAIST、DeepAuto.ai
- 提交时间:2026 年 11 月 10 日
- 状态:投稿至 ACL Rolling Review 2026 年 10 月周期,当前为 arXiv v1
- 论文:https://arxiv.org/abs/2611.14320
- 代码:https://github.com/yukyeongleee/wikitrace
记忆带来的不只是增益,还有“把会做的题做错”
经验式记忆通常走同一条流水线:让智能体跑一批任务,把动作与观测组成的轨迹交给 LLM 总结,再把提炼出的规则、流程或策略塞进后续任务的上下文。ExpeL 提炼自然语言规则,AWM 抽取可复用工作流,ReasoningBank 则同时从成功与失败轨迹中整理推理策略。
这条流水线有个容易被平均分遮住的漏洞:训练轨迹只带一个成功或失败标签,并没有告诉总结器哪一步真正造成了结果。
一次成功里可能混着无效动作,一次失败里也可能藏着正确步骤。LLM 要根据最终标签反推出“以后该怎么做”,本身就像只看考试总分去猜每道错题的原因。猜对了,记忆很有用;猜错了,规则看起来依然通顺,智能体却会更自信地走错路。
作者把“无记忆时能做对、加记忆后反而失败”称为 记忆诱发退化。他们还拆出两个指标,不让新增收益抵消新增伤害:
- Gain:无记忆基准失败的任务,加入记忆后转为成功的比例。
- Regression:无记忆基准成功的任务,加入记忆后转为失败的比例。
设 \(B_i\) 为任务 \(i\) 在三次无记忆运行中的多数结果,\(M_{i,t}\) 为加入记忆后第 \(t\) 次运行的结果:
这个评估设计挺实在。一个系统把 20 道错题做对了,同时又把 20 道对题改错了,总分纹丝不动,但这两个指标会把故事完整讲出来。

图1:左侧展示同一任务在无记忆时成功、加入错误记忆后失败,主要原因包括错误条目、超适用范围使用和误用;右侧展示 WikiTrace 从可疑 insight 下钻到 compilation 与 source run,修正后再行动。
作者用 LLM judge 分析那些“三次无记忆运行都成功、加记忆后却失败”的案例,发现 52% 的失败能追溯到智能体实际遵循的记忆条目。其中最多的是条目本身错误,占 20%;其余还包括规则有效但用错场景、智能体误用规则,以及记忆里明明有更好的条目却没选它。
说实话,52% 这个数字不该被读成“另一半失败与记忆无关”。作者也承认,许多案例找不到明确关联,而且智能体即使不加记忆也存在运行随机性。更稳妥的理解是:在能够定位原因的退化里,错误经验确实是一个足够大的问题,值得单独设计机制。
WikiTrace:不是多存几层,而是保留回到现场的路线
WikiTrace 的核心动作可以压缩成一句话:摘要负责指路,原始轨迹负责作证。
它把记忆写成 \(\mathcal{M}=(R,C,I,E)\),四部分分别是原始轨迹 \(R\)、compilations \(C\)、insights \(I\) 和来源链接 \(E\)。每次历史运行独立处理,编译器接收任务 \(x_i\)、轨迹 \(r_i\) 与二元结果 \(s_i\),生成 \((c_i,I_i)=\mathrm{Compiler}(x_i,r_i,s_i)\)。
| 层级 | 保存什么 | 在执行时的作用 |
|---|---|---|
| Insight | 要做什么、何时适用、来源运行 ID、来源成败 | 简洁的行动建议,作为初始记忆全部提供给智能体 |
| Compilation | 关键决策、支持观测;失败运行还记录可能的失败原因 | 回答“这条建议是怎样从历史运行里读出来的” |
| Raw trajectory | 原始任务元数据、每轮推理、动作、观测与最终结果 | 核查具体命令、状态变化和被摘要漏掉的细节 |
| Source links | insight 到 compilation、再到 raw trajectory 的双向导航线索 | 让智能体按需下钻,而不是每次重读全部历史 |
每条历史轨迹最多提炼三条 insights。写入之后,记忆固定为只读,不再自动更新或删除,所以不同条目可以冗余,甚至互相冲突。作者没有把冲突交给一个离线“记忆清洗器”抹平,而是留给使用证据的智能体现场判断。
这个选择很关键。compilation 也只是对轨迹的一种解释,不是经过验证的因果诊断。因此 WikiTrace 不允许它成为新的终点,而是继续保留通往原始记录的链接。

图2:左侧是编译历史轨迹并建立三层链接;中间展示 insight 与 compilation 的固定文档模板及 source episode 字段;右侧展示智能体在新任务中从全部 insights 出发,用 read、bash 读取证据,同时继续与环境交互。图中列出的下钻条件是缺少细节、insights 冲突和来源运行失败。
测试时什么时候查证据
新任务开始时,智能体收到全部 insights,每条都带适用条件与来源 ID。系统另外列出与当前任务最相似的三次历史运行,以及这些运行产生的 insight 标题,给搜索一个入口。
出现下面几种情况时,提示词要求它下钻:
| 触发情况 | 智能体要查什么 |
|---|---|
| Insight 缺少执行细节 | 找到具体命令格式、对象名称或步骤顺序 |
| 两条 insights 相互冲突 | 比较各自来源运行,判断哪条有证据、哪条适用 |
| Insight 来自失败运行 | 检查它是可靠教训,还是对失败原因的错误解释 |
| 某个动作刚刚失败 | 回到相似运行寻找排错线索或替代步骤 |
记忆以只读文件挂载,智能体可用 read 和 bash 搜索。这里没有什么神秘的新推理算法,真正改变行为的是:它不再只能“服从或忽略”一条规则,而是多了“先查证”这个选项。
一个失败案例,比架构图更能说明问题
PlanCraft 里有个很典型的坑。智能体往合成格放一块木板后,输出栏出现了按钮。它以为木板已经被自动合成为按钮,于是把按钮取出来,结果消耗了材料,最终认定目标无法完成。
错误 insight-0083 把这次失败总结成:“如果放入单个物品就会产出东西,那么需要多个该物品的配方可能无法完成,可以考虑放弃。”这句话读起来像经验,实际上误读了界面预览。
Insights Only 只能看到这条总结,于是重蹈覆辙。WikiTrace 同时发现另一条来自成功运行的 insight-0130:配方完成前,输出栏只是中间预览,应继续放入所需物品。两条规则冲突后,它打开双方的来源运行:失败记录里,智能体反复取回物品九次直到耗尽步数;成功记录里,智能体连续放入三块木板,输出最终变成台阶。证据把“自动合成”的错误解释纠正了。

图11局部:insight-0083 与 insight-0130 分别链接到 compilation 0028、0044,再连接到对应的原始运行 0028、0044;失败来源与成功来源在图中以不同状态标记。完整动作序列在正文中展开。
这个案例让我有点被打动。它展示的不是“多给一点上下文所以分数更高”,而是证据真的改变了一个具体决定。后面的统计也支持这一点:打开来源后改变计划的运行,比只确认原计划或没有用上证据的运行,收益更大。
实验:八个套件都赢,但别只盯平均分
统一协议与对照
实验覆盖五个基准、八个套件:ALFWorld、ScienceWorld、PlanCraft、AppWorld,以及 \(\tau^3\)-bench Retail。任务横跨文本世界、Minecraft 合成、应用 API 和带模拟用户的零售工具调用。
所有方法使用同一个 Pi 终端智能体与各自的 ReAct 指令。主实验模型为 deepseek-v4-flash 2026-04-23 版本,推理强度设为 high。每个套件和方法跑三次;每一轮都从同一批无记忆训练轨迹构建一次记忆,再在相同测试任务上评估。没有方法能额外跑任务来验证某条记忆。
| 方法 | 学习成功 | 学习失败 | 记忆形态 | 访问方式 |
|---|---|---|---|---|
| AWM | 是 | 否 | 工作流 | 注入 |
| ExpeL | 是 | 否 | 自由规则 | 注入 |
| ReasoningBank | 是 | 是 | 格式化推理策略 | 检索 |
| Insights Only | 是 | 是 | 与 WikiTrace 相同的 insights | 注入 |
| WikiTrace | 是 | 是 | 相同 insights 加链接证据 | 注入加下钻 |
Insights Only 是最关键的对照。它与 WikiTrace 使用完全相同的 insights,唯一差别是没有 compilations、原始轨迹和下钻提示。因此,两者的分差比“换一个更强的总结提示词”更能说明证据访问本身的价值。
不过,这个实验设置也让我有点皱眉。为了统一离线协议,ReasoningBank 不能在测试任务后持续更新记忆;ExpeL 被改成单次读取轨迹,只能从成功经验提炼规则,还省略了 exemplar retrieval。比较是可控的,却不等于这些方法在原始在线设定下的满血表现。读结果时,这个边界不能省。
主结果
下表为三次运行的均值 ± 标准差。ALFWorld、PlanCraft 和 AppWorld 各含两个套件;Avg. 对八个套件取平均。
| 方法 | ALF Seen | ALF Unseen | ScienceWorld | Craft Seen | Craft Unseen | τ³ Retail | App Normal | App Challenge | Avg. |
|---|---|---|---|---|---|---|---|---|---|
| No Memory | 94.4 ± 2.0 | 94.3 ± 1.9 | 83.7 ± 0.8 | 72.3 ± 1.9 | 56.3 ± 1.2 | 86.8 ± 1.9 | 75.4 ± 3.4 | 72.7 ± 2.2 | 79.5 ± 1.6 |
| AWM | 94.7 ± 1.2 | 97.3 ± 0.9 | 88.9 ± 4.7 | 76.3 ± 3.7 | 57.3 ± 2.1 | 85.5 ± 2.1 | 79.3 ± 0.7 | 73.4 ± 1.7 | 81.6 ± 0.3 |
| ReasoningBank | 92.1 ± 2.4 | 92.8 ± 0.7 | 85.0 ± 1.3 | 84.7 ± 2.6 | 61.3 ± 3.4 | 86.4 ± 1.6 | 80.8 ± 1.5 | 70.7 ± 3.0 | 81.7 ± 0.5 |
| ExpeL | 94.4 ± 0.9 | 98.0 ± 0.4 | 91.9 ± 1.6 | 74.0 ± 8.5 | 51.0 ± 3.6 | 82.5 ± 5.1 | 80.5 ± 5.7 | 70.0 ± 3.7 | 80.3 ± 1.6 |
| Insights Only | 96.7 ± 0.5 | 97.3 ± 1.3 | 94.9 ± 0.6 | 88.7 ± 6.1 | 73.0 ± 10.7 | 85.1 ± 2.7 | 86.8 ± 0.4 | 73.7 ± 1.4 | 87.0 ± 2.5 |
| WikiTrace | 98.7 ± 0.5 | 98.8 ± 0.7 | 96.1 ± 1.4 | 93.3 ± 3.4 | 81.3 ± 8.5 | 88.2 ± 3.9 | 89.5 ± 1.5 | 75.8 ± 2.2 | 90.2 ± 1.6 |
WikiTrace 在八个套件上都拿到最高均值,也是唯一在每个套件都不低于 No Memory 的记忆方法。相比 No Memory,平均分高 10.7 个点;相比 Insights Only,高 3.2 个点。
提升主要集中在 PlanCraft、ScienceWorld 和 AppWorld,而 ALFWorld 已接近天花板。PlanCraft Unseen 从 73.0 到 81.3,看起来涨了 8.3 个点,但标准差分别是 10.7 和 8.5,波动不小。三次运行足以显示趋势,还不足以把每个套件的差距都当成稳定常数。
Gain 上升,Regression 下降
整体结果里,WikiTrace 的 Regression 为 4.5%,Insights Only 为 6.5%,额外三次无记忆运行构成的重跑基线为 9.7%。WikiTrace 的 Gain 比重跑基线高 35 个百分点,Insights Only 高 27 个百分点,已有记忆方法则高 7 到 14 个百分点。
下表使用论文分基准结果中的百分比,便于同时看收益与代价:
| 基准 | Insights Only Gain | WikiTrace Gain | Insights Only Regression | WikiTrace Regression |
|---|---|---|---|---|
| ALFWorld | 80% | 87% | 2% | 1% |
| ScienceWorld | 64% | 69% | 8% | 5% |
| PlanCraft | 58% | 70% | 5% | 2% |
| τ³-bench Retail | 44% | 39% | 11% | 8% |
| AppWorld | 49% | 56% | 9% | 8% |
有个细节值得盯住:WikiTrace 在 \(\tau^3\)-bench 上的 Gain 反而从 44% 降到 39%,只是 Regression 同时从 11% 降到 8%。所以它并不是在每个维度都占优,更准确的结论是,它在多数场景同时多救人、少误伤,在少数场景则更偏向保守可靠。
下钻真的在起作用吗
作者把文本世界中的运行分成 Descent 与 Stay:前者打开过 compilation 或原始轨迹,后者没有。Easy 任务只有 22% 的运行下钻,Hard 任务则达到 44%。任务越难,下钻运行相对 Stay 运行的额外领先越大,从 Easy 的 1.8 个点升到 Medium 的 3.7 个点、Hard 的 4.1 个点。
再看下钻之后发生了什么:43% 的 Descent 运行改变了计划,其中 24% 修正 insight,14% 补充细节,4% 获得全新事实。这些运行相对 Insights Only 领先 8.3 个点;只确认计划或没有用上证据时,领先为 4.4 个点。遇到阻塞或怀疑规则后再下钻的案例占 36%,领先 10.4 个点;没有出问题时主动检查的案例领先 3.7 个点。
当然,这里不能随手写成因果结论。是否下钻由智能体自己选择,Descent 与 Stay 本来就是不同的运行。论文也明确承认这个选择偏差。我更愿意把这些数字理解为“收益集中在证据改变决策的地方”,而不是“只要强制多读文件就会涨分”。
失败经验、成本与换模型
只使用失败轨迹构建记忆时,Insights Only 的 Regression 在 PlanCraft 和 ScienceWorld 分别达到 9.3% 和 9.4%;WikiTrace 使用相同 insights 后降到 7.1% 和 8.9%。两种方法都是成功加失败记忆时表现最好,说明失败经验有价值,但更需要来源证据约束。
成本上,WikiTrace 平均每任务的测试开销是 Insights Only 的 1.17 倍,换取 3.2 个点的平均提升。作者还提高基线的记忆构建预算:AWM 跑九遍,ExpeL 与 ReasoningBank 各跑三遍,三者平均分分别为 83.8、83.3、82.8,仍低于 WikiTrace 的 90.2。不过论文没有在这里展开统一的 token、时延或美元成本,所以“划算”目前主要是相对测试开销与分数而言。
换用 GLM-5.3-flash、推理强度调为 medium 后,结论仍成立:
| 方法 | PlanCraft Seen | PlanCraft Unseen | ScienceWorld | 平均 |
|---|---|---|---|---|
| No Memory | 68.7 ± 3.3 | 55.3 ± 2.1 | 89.6 ± 1.5 | 71.2 ± 0.3 |
| Insights Only | 92.3 ± 2.1 | 87.7 ± 3.3 | 92.6 ± 0.8 | 90.9 ± 1.6 |
| WikiTrace | 95.7 ± 1.7 | 89.0 ± 1.6 | 93.3 ± 0.8 | 92.7 ± 0.4 |
WikiTrace 比相同 insights 高 1.8 个点,比无记忆高 21.5 个点。不过这组泛化实验只覆盖 PlanCraft 与 ScienceWorld 的三个套件,还不能代替更多模型、更多工具环境的验证。
我的判断:真正的新意是“可追问的记忆”
从系统组成看,WikiTrace 不是凭空长出的新理论。分层记忆、按需检索、终端访问语料库都已有前置工作;作者也提到 HORMA 会把文件系统摘要连接到原始交互历史,Direct Corpus Interaction 则提供通过终端工具访问语料的通用方式。AWM、ExpeL、ReasoningBank 已经证明经验蒸馏有用。
WikiTrace 往前推的一步,是把“提炼出的程序性建议”与“支撑它的执行证据”绑定,再用 Regression 把错误建议造成的伤害单独量出来。它更像一次有针对性的工程重组,而不是记忆学习算法的翻新。这个定位并不减分。恰恰相反,问题定义清楚、对照干净、案例与统计能互相解释,比堆一个庞大框架更有说服力。
但几个坑仍在:
规模问题没有被解决。 WikiTrace 把全部 insights 放进首条消息,保证不会漏检索,也让提示词随记忆线性增长。记忆大到放不下时,就必须重新面对检索问题。
来源证据不等于事实校验。 原始轨迹能反驳一条错误总结,却不能自动证明另一条总结普遍正确。compilation 对失败原因的解释同样可能是错的。
只读记忆回避了生命周期。 当前方案不更新、不删除 insights,适合隔离变量做实验;真实长期部署还得处理环境变化、规则过期、冲突积累与版本管理。
部分分析依赖 LLM judge。 退化原因与下钻标签来自 judge 阅读智能体推理后的分类,它描述的是推理文本里说了什么,不等同于还原了行为的内部因果。
如果你正在做智能体记忆,我觉得可以直接拿走四个工程动作:给每条规则保存 source_run_id 与适用条件;把摘要和原始轨迹都做成只读、可定位的文档;在规则冲突、来源失败和动作报错时开放下钻;评估时同时记录 Gain 与 Regression,别只报总分。还要把下钻带来的 token 和时延一起记账,否则很容易把“更贵”误读成“更聪明”。
回到开头那盏台灯。WikiTrace 并没有承诺记忆永远正确,它只是要求系统在照做之前,保留一次追问“你凭什么”的机会。对长期运行的智能体来说,这个克制可能比再多十条经验都重要。
觉得有启发的话,欢迎点赞、在看、转发。跟进最新AI前沿,关注我