← yilin-vaultwriting/

博客

Kimi K3:linear attention 这条路,Kimi 走下去了

从 linear attention 到 KDA,Kimi 如何让模型学会记忆、覆盖和遗忘,并把一次技术探索真正 scale 到 2.8T 参数。

聊聊 loop engineering,以及 xxx engineering 为什么出现

结合实际工作,聊 loop engineering 是什么、怎么搭好一个 loop,以及为什么每隔一阵就冒一个新的 xxx engineering。

听 Anthropic 增长负责人的那期播客

Cat 的播客很火,但同期另一位嘉宾——Anthropic 增长负责人 Amol——的分享同样值得一听。

当一切都在变,只有愿景能当坐标系

技术、产品形态、甚至“什么算成功”都在快速变化时,唯有愿景能充当那个稳定的参照系。

Skill 火起来之后,我们是怎么在 Agent 里用它的

大家 WoW 的是 Skill 的效果,但更值得聊的是这几个月我们如何在 Agent 中真正运用 Skill,以及它带来的影响。

AI 产品得在 Day 1 就考虑商业化

有人愿意付费才能证明不是伪需求;Day 1 就把账算明白,才知道产品该往哪个方向迭代。

看 Ilya 的原视频:Emotion is the value

总结性文章无法替代的,是亲眼看 Ilya 的语气与神情,以及他所讲的内容本身。

模型与产品,本无谁更优先

对做模型的公司模型即产品,对做应用的公司产品才是主角——只是定位不同罢了。

上半年的预测与下半年的猜想

用 Stage 框架(文本 → CoT → 工具 → 系统上下文)看模型演进,回看上半年的“暴论”哪些已被验证。

关于 AI 旅行 / 导购类助手的悖论

用户需要自己浏览足够多的信息才能建立判断,这与“一步到位替你决策”的导购 AI 存在根本悖论。

以产品视角,畅想后续 Agent 端到端模型的能力

从提问、记忆、工具、规划等角度,乱想下一代端到端 Agent 模型可能长出哪些能力、会怎么训练。

LLM 的“人格”,与未来不同人格模型间的比拼

团队审美塑造了 LLM 独特的“人格”;R1 之后,各家 post-train 语料的差异会让模型在思考上形成不同风格。

关于 DeepSeek 的一些个人思考

现阶段提升模型能力的关键,以及为什么“智能”本身才是真正的护城河。