AI News｜2026-09-13

今日目录

• OpenAI 的 Thibault 发文复盘 Astra 质量事故：skill 触发、context 实验、engine 配置三类根因
• Anthropic 的 Thariq 推出 plugin eval：用命令直接给插件跑评测
• Every 把三年 vibe check 升级成内部个人 benchmark 平台
• OpenAI 收编 Git AI 团队，继续开源帮开发者追踪 coding agent 贡献
• Cursor 上线长生命周期 agent，面向大项目长期运行
• Vercel AI Gateway 成为 Tailscale 模型路由的底层设施，Rauch 称 AI Gateway 是新 CDN
• Box 可挂载到 agent 沙箱，让 agent 直接读写企业文件
• Coinbase CEO Brian Armstrong：76% 的 agent 电商交易低于 30 美分，AI 需要自己的银行账户
• Peter Yang 质疑 software factory：没有人在环的端到端构建目前不成立
• Thariq：只看 pass/fail 已经无法解释模型 eval，很多失败来自过严的隐藏测试

今日判断

今天更让我在意的是 coding agent 开始往「可观测、可评测、可长期运行」这三个方向补课。Thibault 的 Astra 复盘把问题拆到了 skill 触发频率、context 管理实验、engine 配置这三层，而且点名 4-5k 用户受影响。这说明模型质量已经不是唯一变量了，用户自己写的 skill 和平台侧的上下文策略会直接影响输出稳定性。以前这类问题大家习惯甩锅给模型，现在愿意公开拆开讲，是好事。

第二个信号是 eval 正在从跑分变成工程动作。Thariq 说 pass/fail 分数已经没法解释模型真实表现，很多失败来自过严的隐藏测试，甚至模型答案比预期更合理；Dan Shipper 那边把 three 年的 vibe check 升级成内部平台，让每个人按自己日常工作做 personal benchmark。两条放一起看就很清楚：通用榜单的参考价值在下降，谁有自己业务的 eval set，谁才能决定该用哪个模型。

我的判断是，接下来 builder 的核心竞争力会从「会 prompt」转向「会搭评测闭环和上下文边界」。Cursor 的长生命周期 agent、Box 挂载到 agent 沙箱、Vercel AI Gateway 被 Tailscale 用来做 model router，都在把 agent 从 demo 推向基础设施。谁能先把 skill 生命周期管理、eval 平台、沙箱文件读写这几件事串起来，谁的 agent 才真的能跑生产。

快讯

1. OpenAI 的 Thibault 发文复盘 Astra 质量事故：skill 触发、context 实验、engine 配置三类根因

查看原文 · 来源：Thibault Sottiaux (@thsottiaux)

OpenAI 的 Thibault Sottiaux 就近期 Astra 用户反馈的质量问题给出复盘，列出了三条修复：部分为旧模型写的 skills 触发过于频繁或阻止模型自查；一个 opt-in 的 context 管理实验导致提前停止或回复旧消息，已关闭，估计影响 4-5k 用户；还移除了一批配置不当的 engine，这批 engine 对长尾流量造成可测量的质量下降。他强调现在跟随性更一致、更好追踪用户最新消息、过程中自查更强。这条的价值在于它把 agent 质量问题的来源从模型本身拆到了 skill 生命周期、上下文策略、推理路由三层，尤其 skill 是用户自己写的，模型升级后旧 skill 反而可能变成负资产。我的判断是，agent 平台接下来必须给 skill 做版本兼容和自动评测，否则每次模型迭代都会引发一轮隐性质量回归。

2. Anthropic 的 Thariq 推出 plugin eval：用命令直接给插件跑评测

查看原文 · 来源：Thariq (@trq212)

Thariq 宣布 plugin evals 上线，用户可以在 plugin 目录下运行 claude plugin eval init 来初始化评测。起因是很多用户反馈不知道自己的 skills 在新模型发布后是否还能正常工作。这条和 Thibault 的 Astra 复盘其实是同一个问题的两面：模型迭代快了以后，用户侧自定义的 skill、plugin、context 资产需要一个独立的回归测试入口。我的判断是，把 eval 做进 CLI 是对的，但它只解决了有没有测的问题，真正的难点还是测试用例怎么来、判定标准怎么定。团队如果只是跑一遍插件不报错就认为没问题，反而会产生虚假安全感。

3. Every 把三年 vibe check 升级成内部个人 benchmark 平台

查看原文 · 来源：Dan Shipper (@danshipper)

Dan Shipper 说 Every 过去三年对新模型做 vibe check，即基于真实工作的长文实测评述，但更好的 benchmark 分数并不能说明模型在你实际工作里表现如何。现在他和团队内部搭了一个平台，让每个成员基于自己的日常工作构建个人 benchmark，把原来的纯体感变成更量化的检查。这其实回应了 Thariq 提到的问题：公开榜单和 pass/fail 分数越来越难解释真实表现。我的判断是，personal benchmark 会成为 AI 团队的标准配置，因为它把评测锚定在具体工作流上，而不是通用能力。难点在于个人 benchmark 需要持续维护，模型一换、任务一变就得更新，否则很快会退化成一次性脚本。

4. OpenAI 收编 Git AI 团队，继续开源帮开发者追踪 coding agent 贡献

查看原文 · 来源：Thibault Sottiaux (@thsottiaux)

OpenAI 的 Thibault Sottiaux 欢迎 Git AI 团队的 Aidan 和 Sasha 加入，Git AI 做的是一个开源工具，帮助开发者理解 coding agent 如何影响代码库。加入 OpenAI 后，双方会继续把 Git AI 保持开源，并让它更容易帮企业看清 Codex 在个人和团队解决问题时到底在哪些地方起了作用。这条的价值不在于又一起收购，而在于它点出了 coding agent 落地的一个硬需求：代码是 agent 写的还是人写的、贡献怎么归因、出了问题怎么回溯。我的判断是，agent 生成代码的比例越高，git 层面的归因和审计就越像必需品。企业采购 coding agent 时，能不能说清 agent 的改动范围，会比模型跑分更能决定是否上线。

5. Cursor 上线长生命周期 agent，面向大项目长期运行

查看原文 · 来源：Ryo Lu (@ryolu_)

Cursor 的 Ryo Lu 宣布 long-lived agents 上线，面向用户的大想法做长期运行。之前 coding agent 大多是一次会话内完成任务，长生命周期意味着 agent 要跨会话保持状态、记住项目上下文、在多次交互中持续推进同一目标。这和 Thibault 复盘里的 context 管理、skill 生命周期是同一类问题：agent 活得越久，上下文边界和状态管理就越容易成为质量瓶颈。我的判断是，long-lived agent 的卖点不是能跑更久，而是能把任务拆解和状态沉淀下来。真正考验 Cursor 的是它怎么处理上下文遗忘、任务中断恢复、以及多个长期 agent 之间的资源冲突。

6. Vercel AI Gateway 成为 Tailscale 模型路由的底层设施，Rauch 称 AI Gateway 是新 CDN

查看原文 · 来源：Guillermo Rauch (@rauchg)

Guillermo Rauch 宣布 Tailscale 的模型路由由 Vercel AI Gateway 作为底层基础设施支撑，并把 AI Gateway 类比为新的 CDN：你可以直连 origin，但很脆弱；也可以自己 DIY，但痛苦且昂贵。这条的信息量在于它给出了一个具体的生产案例，而不是单纯宣传。多模型路由、fallback、成本控制、可观测性这些能力，正在从每家自建变成一层可采购的基础设施。我的判断是，AI Gateway 这个类比基本成立，但和 CDN 不同的是，模型路由还涉及 prompt 缓存、不同模型的能力差异和评测数据回流。谁能把路由策略和 eval 结果挂上钩，谁才真正拿到这层基础设施的定价权。

7. Box 可挂载到 agent 沙箱，让 agent 直接读写企业文件

查看原文 · 来源：Aaron Levie (@levie)

Aaron Levie 说现在可以把 Box 挂载到 agent 沙箱，让 agent 更容易读写自己运行环境里的文件。他的观点是，当 AI agent 在企业里执行关键工作流时，它们需要人早就拥有的那些原语。这条表面上是个集成公告，但指向的是企业 agent 的一个核心问题：agent 要干活就得访问文件，而企业文件访问牵扯权限、审计、沙箱隔离。直接给 agent 一个本地目录是不够的，挂载企业存储意味着权限模型要跟着走。我的判断是，agent 沙箱的文件系统会变成企业 AI 采购的必答题，Box、SharePoint 这类系统谁能先把权限和审计做进挂载层，谁就能卡住 agent 落地的入口。

8. Coinbase CEO Brian Armstrong：76% 的 agent 电商交易低于 30 美分，AI 需要自己的银行账户

查看原文 · 来源：No Priors

Coinbase CEO Brian Armstrong 在 No Priors 里谈 agentic finance，给出一个具体数字：他们看到的 agent 电商交易里约 76% 低于 30 美分，而传统借记卡或信用卡最低费用约 30 美分加百分比，对小额支付完全不成立。他的判断是 AI agent 需要自己的金融账户，Coinbase 做了简单工具，把一段 prompt 粘给 agent 就能让它拥有自己的金融账户。这条的价值在于它把 agent 经济的讨论落到了支付费率这个硬约束上，而不是停在概念。我的判断是，agent 做微支付会先绕开现有卡组织，走稳定币或内部记账，因为 30 美分的固定成本结构改不动。谁先解决 agent 之间的高频小额结算，谁就拿到 agent 经济的一层基础收费口。

9. Peter Yang 质疑 software factory：没有人在环的端到端构建目前不成立

查看原文 · 来源：Peter Yang (@petergyang)

Peter Yang 说他怀疑 software factory 这个概念，除了验证和测试，他不认为 AI 现在能端到端自改进产品或在没有人在环的情况下构建新功能。他的经验是把任务过夜交给 AI 去构建新东西，只要它做出一个错误假设，整个产出就是浪费 token。他公开追问：有哪些产品或功能是完全由 software factory 搭出来、没有人类定义需求或检查工作的。这条不是反 AI，而是把问题钉在需求定义和人在环这两个具体环节上。我的判断是，software factory 目前更适合需求明确、验收标准的任务，比如测试补齐和重构。完全无人构建的问题不在模型能力，而在于错误假设一旦产生就会被放大到整个产出，成本是不可逆的。

10. Thariq：只看 pass/fail 已经无法解释模型 eval，很多失败来自过严的隐藏测试

查看原文 · 来源：Thariq (@trq212)

Thariq 说现在几乎不可能只靠 pass/fail 分数来解读 eval，他看到的很多 benchmark 失败是因为隐藏测试过于严格，有些情况下模型给出的答案比预期结果更合理。这条和 Dan Shipper 做 personal benchmark、以及 plugin eval 上线放在一起看，指向同一个结论：通用榜单的解释力在下降。我的判断是，这不是说 eval 不重要，而是说 eval 的判定标准本身需要被审视。模型答对但被判错，会直接误导选型。对一线团队来说，与其看榜单排名，不如拿自己三五个真实任务做对照测试，并且保留人工复核环节，否则很容易被过严的测试集带偏。