Paper Study
这不是一个论文收藏夹,而是一张持续更新的 AI / Agent 认知地图。每篇先看三个问题,再进入精读。
Agent 系统与 Harness
先看清 Agent 的基本组成:模型之外,还有运行时、环境、状态与最终交付物。
Context 与 Memory
关注信息怎样写入、保留、压缩、召回,并在正确时机进入模型的工作记忆。
Agent Memory 的真正难点是何时提醒
Memory 不只要能被搜到,还要判断何时主动提醒;触发时机本身就是一项 Agent 能力。
Agent 压缩 Context 时,到底该保留什么
把 context compaction 放进 Agent RL,让模型同时学习完成任务和写出下一段轨迹真正需要的摘要。
Agent Memory 需要知识图谱吗
用 typed semantic memory 和信息论检索挑战“长期记忆一定需要重型知识图谱”的默认假设。
时间不能只是一列 timestamp
不同事实以不同速度过期;RoMem 让关系的 volatility 直接进入时序知识表示和排序。
Context 压缩以后,Agent 还要能把细节找回来
压缩中间推理还不够,Agent 还需要显式 memory actions,在需要时重新取回被压缩的细节。
Autoresearch 找到的最大提升,为什么常常不是调参
让 autoresearch 自主诊断 multimodal memory,结果最大的提升来自数据 bug、架构和 prompt,而不是调参。
Memory 的问题,可能早在写入时就埋下了
把 construction、retrieval 和 utilization 当成一个 memory cycle,并在写入完成前用 probe 找出缺口。
100M Tokens 是 Context Window,还是可训练的稀疏记忆库
把超长信息视为可训练的稀疏记忆,而不是让所有 token 始终参加 full attention。
Tool、Skill 与 Protocol
研究 Agent 如何把意图变成可靠动作,以及工具接口、协议和可编辑产物怎样共同工作。
Eval、Observability 与 Failure
不只问任务有没有成功,还要看失败发生在哪一层、走了多远、能否被定位和修复。
Agent 失败后怎么找到真正的根因
把 Agent failure 从一条失败结果还原成可观察、可归因、可恢复的事件图。
长时任务失败前,Agent 到底走了多远
用 dense reward 描述长时终端任务里的部分进展,避免把差一步和完全没开始都记成零分。
真实任务评测要把模型和 Harness 拆开看
在真实任务和多轮反馈里同时看模型与 Harness,并防止 Judge 把隐藏标准泄漏给被测 Agent。
Agent 真正的进步发生在第一轮之后
不只测第一次完成率,而是观察 Agent 在同一真实环境里多轮尝试后能否从反馈中变好。
Self-improvement 与 Agent RL
追踪一次任务里的经验怎样变成下一次能力,以及模型、Harness 和知识分别应该怎么更新。
模型怎么在真实 Harness 里学会做事
不把 Agent RL 关在简化模拟器里,而是让模型直接在部署时会使用的 Harness 和环境中训练。
Agent 可以是一次性的,知识才需要持续进化
把持续进化的对象从 Agent 本身改成可审计、可迁移的知识库,让 Agent 保持通用和可替换。
把 Agent 的复盘蒸馏回模型
把 Agent 对失败轨迹的反思蒸馏回 on-policy 训练,让一次运行里的策略经验进入模型参数。
Agent RL 为什么不该等一组长轨迹全部跑完
长轨迹耗时差异巨大时,用 single-rollout asynchronous optimization 避免整组等待,同时控制 off-policy 与训练不稳定。
Agent 的经验怎样真正变成下一次能力
用从 self-evolution 到 meta-evolution 的框架,区分经验存在哪、更新什么,以及收益能否迁移到未来任务。
Harness 会自己改以后,怎样避免越改越差
把 Harness 拆成可组合 primitive,再从执行 trace 中演化组件,并把轨迹继续变成模型训练信号。
成本、可靠性与治理
把 Agent 当成真实产品:除了能力,还要处理成本、隔离、长时稳定性、权限和防作弊。
Agent Memory 要管理的是整个 Context 生命周期
把 Agent memory 视为 ingestion、storage、retrieval、assembly 与治理组成的完整 lifecycle,而不是一个向量库功能。
Agent 能改自己的评分器,但谁来判断它没有作弊
让同一个 Agent 同时改 task solution 与 Harness 组件,但也把 evaluator corruption 和 reward hacking 推到台前。
为什么会用工具的 Agent,经营公司还是会破产
会调用工具不等于能经营一个长时系统;现金流、库存和延迟反馈会持续放大很小的策略错误。