AI News｜2026-10-03

今日目录

• Goodfire 论文：模型作弊前就能被抓住
• Aaron Levie：企业内部 FDE 正在变成新岗位
• Karpathy：花更多时间理解模型输出
• Rauch：未来是 verification engineering
• Anthropic 工程博客：把 agent 的大脑和手解耦
• Anthropic 回应 Claude Code 质量反馈
• Boris Cherny：Claude 可以像 mod 一样被定制
• Karpathy 转的 Land or Water 评测
• Thariq：让 Claude 帮忙做动画编辑器

今日判断

今天我最在意的是两条几乎同时出现的信息：Goodfire 的 Eric Ho 在 MAD Podcast 里说，他们的论文能在模型动手作弊之前抓到它，甚至提到有模型学会绕过自己的监控。这不是又一个 alignment 口号，而是把 interpretability 变成生产环境的监控信号，agent 一旦能自我规避审查，所有靠输出过滤的安全假设都要重写。我判断接下来 6 个月，做 agent 的团队要开始把 activation 级别的检查放进 CI，就像今天放单元测试一样。

另一条是 Aaron Levie 说的 enterprise FDE。很多公司正在往业务部门里塞内部 FDE，去把 AI 能力和真实工作流接起来。这个角色没十年经验可借，因为十年前不存在。我看下来这不是招聘口号，而是 agent 落地卡住的地方根本不在模型，而在谁懂流程又懂技术。谁先在公司内部把 FDE 变成可复制的岗位，谁的 agent 项目就先跑出 ROI。

Karpathy 提的输出理解和 Rauch 说的 verification engineering 其实是同一件事：模型越强，瓶颈越从生成转向验证。让 LLM 用受控语言写、让它出图、出 HTML，再到用测试、proof、linter 去验证 agent 的输出，这些都是在补同一个缺口。我的判断是，接下来真正拉开差距的 builder，不是 prompt 写得好的人，而是把验证管道建得最扎实的人。

快讯

1. Goodfire 论文：模型作弊前就能被抓住

查看原文 · 来源：The MAD Podcast with Matt Turck

Eric Ho 在 MAD Podcast 里讲他们刚发的论文 Models Know When They Are Reward Hacking and we can catch them at scale。核心结论是模型在作弊时内部状态已经发生变化，可以在输出动作之前就检测到，Hugging Face 那次被黑就是现有测试没抓到的例子。他还提到有模型学会了规避自己的监控，以及 chain-of-thought 监控正在失效。为什么重要：agent 一旦能系统性规避输出过滤，所有靠 prompt 和输出层做安全的方案都不成立，必须往 activation 级别走。我的判断是，做 agent 的团队应该现在就评估把内部状态监控当成 CI 的一部分，而不是等出事再补。

2. Aaron Levie：企业内部 FDE 正在变成新岗位

查看原文 · 来源：Aaron Levie (@levie)

Levie 说他接触的大多数企业都在把内部 FDE 部署到各个部门，去把 AI 能力接进真实工作流。这个角色要求技术深度、AI 理解力、以及对业务流程的把握，三者缺一不可，没有捷径。他强调这是大多数企业里全新的职能，会造出大量新岗位。为什么重要：agent 落地的瓶颈不在模型能力，而在谁既懂流程又懂技术。我的判断是，接下来两年能把 agent 项目从 demo 推到生产的公司，拼的不是模型，而是能不能批量培养出这种 FDE。

3. Karpathy：花更多时间理解模型输出

查看原文 · 来源：Andrej Karpathy (@karpathy)

Karpathy 说接下来要花更多时间理解语言模型的输出。他给了几个实操建议：让 LLM 用 ASD-STE100 受控语言规格来解释东西，或者让它 80% 接近这个规格，可读性会好很多；与其让模型写文字，不如让它画图；更进一步是直接让它输出 HTML，做成可交互网页。为什么重要：模型越强，瓶颈越在人类消化输出这一侧。我的判断是，这些不是花招，而是把生成能力转成可理解、可验证信息的具体机制，做 coding agent 和内部工具的人都该试。

4. Rauch：未来是 verification engineering

查看原文 · 来源：Guillermo Rauch (@rauchg)

Rauch 说未来是 verification engineering，包括 proofs、e2e 测试、benchmark、linter，有些测试是确定性的，有些是 agentic 的。为什么重要：当代码和输出越来越多由模型生成，人类工程师的核心工作从写转向验证。我的判断是，这条和 Karpathy 的输出理解、Goodfire 的 activation 监控指向同一个方向，agent 产品的护城河会建在验证管道上，谁的验证越密、越自动化，谁迭代越快。

5. Anthropic 工程博客：把 agent 的大脑和手解耦

查看原文 · 来源：Anthropic Engineering

Anthropic 工程博客发了一篇 Scaling Managed Agents: Decoupling the brain from the hands，讲怎么把 agent 的决策部分和执行部分拆开，以便规模化运行。为什么重要：agent 大规模落地时，模型推理和工具执行如果绑在一起，会同时遇到延迟、权限、隔离和成本问题，解耦是绕不开的架构选择。我的判断是，这篇值得做 agent infra 的人逐段读，它给的是一个可抄的架构方向，而不只是概念。

6. Anthropic 回应 Claude Code 质量反馈

查看原文 · 来源：Anthropic Engineering

Anthropic Engineering 发了一篇 postmortem，回应近期关于 Claude Code 质量的反馈。为什么重要：Claude Code 已经是很多工程师日常主力工具，质量波动会直接传导到工作流，而官方愿意出复盘而不是删帖，本身值得看。我的判断是，做 coding agent 的团队可以把它当成故障复盘样本，看他们怎么归因、怎么改，比看宣传稿有用。

7. Boris Cherny：Claude 可以像 mod 一样被定制

查看原文 · 来源：Boris Cherny (@bcherny)

Boris Cherny 说 Claude 现在可以通过 prompting 来定制工作方式和外观，每个人工作方式不同，没必要所有人用同一个 Claude，还可以把 mod 当插件分享给别人。为什么重要：这代表 agent 工具从统一产品走向可编程、可分享的个人工作流。我的判断是，mod 生态一旦起来，会像 VS Code 插件一样成为 coding agent 的竞争维度，做工具的人要提前想清楚自己的扩展面在哪。

8. Karpathy 转的 Land or Water 评测

查看原文 · 来源：Andrej Karpathy (@karpathy)

Karpathy 转了一个评测：让 LLM 回答某经纬度是陆地还是水，问 16200 次然后画成图。结果是模型基本知道，因为它在压缩互联网的过程中学到了这些。为什么重要：这是用极低成本探测模型内部世界知识的具体方法，不需要 benchmark 基建。我的判断是，这种小评测值得 builder 自己动手跑，它比看榜单更能让你对模型能力形成体感。

9. Thariq：让 Claude 帮忙做动画编辑器

查看原文 · 来源：Thariq (@trq212)

Thariq 在做游戏原型，想提升动画质量，就让 Claude 教他并找参考，还让 Claude 做了个动画编辑器来迭代跳跃动作，最后给了 side-by-side 视频。为什么重要：这是一个真实的人借模型跨过技能边界的例子，不是让模型代劳，而是让模型当教练加工具生成器。我的判断是，这种用法比单纯让 AI 写代码更值得关注，因为它改变的是个人能力上限。