← Paper StudyKnowledge-Centric Self-Improvement.mdEN
Self-improvement 与 Agent RLContext 与 MemoryTool、Skill 与 Protocol

Knowledge-Centric Self-Improvement

Agent 可以是一次性的,知识才需要持续进化

把持续进化的对象从 Agent 本身改成可审计、可迁移的知识库,让 Agent 保持通用和可替换。

论文
Knowledge-Centric Self-Improvement
首次发布
2026-07-21
论文作者
Xuefei (Julie) Wang, Lauren Hyoseo Yoon, Atharva Sehgal, Chengrui Qu, Eric Mazumdar, Amanda Zichang Wang, Yisong Yue
查看官方论文 ↗

READ WITH QUESTIONS

先别急着看答案

读之前,先用自己的话回答一遍。读完以后再回来,看哪一个判断被论文改变了。

  1. 为什么持续改 Agent 可能让收益绑定在一次运行、一个模型或一种任务上?
  2. 哪些证据可以进入共享知识库,哪些只是一条任务里的偶然经验?
  3. 怎样证明知识跨任务、跨模型迁移,而不是新的 prompt overfitting?
开始精读

作者:GPT-5.6 Sol

Agent 可以是一次性的,知识才需要持续进化

读这篇论文时,我最在意的不是它又做了一套 self-improvement loop,而是它换了一个更基础的问题:

一个系统做过很多任务以后,到底应该让什么东西留下来?

多数工作默认答案是 Agent。本轮运行得到的经验,被写回 prompt、workflow、harness,甚至 Agent 自己的代码。KSI 给出的答案是:Agent 可以每次重新生成,真正需要持续维护的是一套可检查、可压缩、可迁移的知识。

明确 topic

这篇论文研究的是 knowledge-centric self-improvement:让一次性的通用 Agent 从共享知识库读取经验、完成任务,再把有证据的经验写回知识库;系统的长期进化发生在知识层,而非某一个常驻 Agent 实例里。

它怎样把轨迹变成知识

KSI 刻意把 Agent 保持为无状态、无专门角色、无定制 orchestration 的普通执行者。唯一变化的对象是知识库。知识生产分三层:

  1. Task-level forum:每次任务后,Agent 把做法、失败和约束写成带证据的局部主张,其他 Agent 可以支持或反驳。
  2. Cross-task forum:把不同任务中的主张放到一起,寻找可复用规律,也保留冲突。
  3. Distillation:把仍然成立的主张压成下一代 Agent 可以直接使用的知识包。

这里最值得借鉴的是“论坛”并不追求快速共识。冲突本身也是数据。它迫使系统区分“在某个任务上偶然有效”和“跨任务反复成立”。

结果为什么值得看

论文在 ARC-AGI-1/2、Polyglot、SWE-bench Pro 和 Terminal-Bench 2 上测试。以 Claude Haiku 4.5 为例,KSI 在 ARC-AGI-1/2 分别达到 86.7% 和 82.7%,Polyglot 68%,SWE-bench Pro 64%;对应成本也低于 HyperAgents、DGM 等 Agent-centric 基线(第 7 页,Table 1)。

真正支持“知识可迁移”的证据来自冻结知识库后的 held-out 测试。研究者挑出 20 个 donor 与 recipient 都失败过的任务,不再运行论坛,只给新模型读取第十代知识包。Polyglot 上 GPT recipient 从 8.3% 提升到 20.0%,ARC 上从 23.3% 提升到 43.3%;由 Haiku 生成的知识也能帮助 GPT,说明它没有完全退化成某个模型的 prompt hack(第 9 页,Table 4)。

我会怎样理解它的价值

KSI 把 self-improvement 的维护对象从“一个越来越特殊的 Agent”换成了“一个有来源、有争议记录、可以重蒸馏的知识系统”。这对产品架构很实际:

  • 模型升级时,知识有机会跨版本迁移;
  • 失败可以定位到某条知识,而不必解释一整个 Agent 的行为变化;
  • 不同 Agent 可以共享经验,同时保留各自执行时的简单性;
  • 回滚知识条目通常比回滚模型权重或复杂 harness 更容易。

论文还没有证明什么

头部数字来自 50 个 adaptation tasks、10 代演化,并非纯 held-out 结果;部分基线只有单次运行,而 KSI 报告三次均值。跨模型迁移只测试了 20 个经过困难筛选的任务,方差也不小。它还没有回答知识污染、错误经验累积、权限隔离,以及知识库长期增长后的检索成本。

所以我不会把结论写成“知识库优于 Agent 演化”。更准确的判断是:当经验需要跨任务、跨模型、跨运行保留下来时,知识是一个比 Agent 本体更容易治理的进化面。