Daily AI News
AI News|2026-11-03
今日目录
- Karpathy:coding agent 先定分层和上下文,再谈模型选型
- Rauch:agent 的改动要能预览和回滚,才敢让它连续跑
- Levie:企业部署 agent 卡在权限、责任归属和日志
- Peter Yang:coding agent 在一线具体承担哪一段工作
- Peter Yang:团队评估 coding agent 该看哪些指标
- Amjad Masad:agent 进用户请求路径前先算成本和延迟
- Garry Tan:agent 周边的基础设施还有哪些位置有空间
- Thariq:同一代模型换套 harness 表现能差一截
今日判断
今天我主要看两条线:coding agent 的工作流边界,以及 agent 接进真实系统之后的失败处理。Karpathy 讲的是分层,模型负责什么、外层 harness 负责什么、上下文按什么粒度喂进去;很多团队把本该在工程侧解决的失败算到了模型头上。Peter Yang 连发两条,一条问 builder 具体怎么用,一条问团队怎么采购和评估,落点还是同一件事:agent 放在 IDE 里、放在 CI 里、直接接进产品请求路径,三种放法的失败模式完全不同。
我这两天被问得最多的不是能不能用,是能不能收敛。Rauch 要求 agent 的每一版改动可以预览、可以回滚、能交给下一步验证;Levie 讲企业侧卡在数据位置、授权、责任归属和日志留存。两个人指向同一处:没有可回滚的执行记录和可审计的工具调用日志,团队上线第一件事就是把它关掉。Amjad 的讨论更贴近日常,单次任务的时长、工具调用次数、重试带来的成本翻倍,直接决定 agent 能不能放进用户等待的同步路径。
我的判断是,接下来几个月能跑出来的团队,先把失败路径做扎实了,模型用得猛不猛反而排在后面:超时、重试、部分成功、人工接管,这四个状态先定义清楚,再去谈多智能体编排。工具链上谁把这四个状态做成一等公民,谁就能接住把 AI 塞进生产工作流的那部分需求。给一线 builder 的动作很具体:这周先把 agent 的四条失败路径写成状态机,标出每一步谁接管、日志记什么、回滚点落在哪,再回头谈效果。
快讯
1. Karpathy:coding agent 先定分层和上下文,再谈模型选型
查看原文 · 来源:Andrej Karpathy (@karpathy)
Karpathy 拆的是 coding agent 在真实代码库里的分工:哪些交给模型,哪些交给外层 harness,上下文按什么粒度喂。他提到的角度并非模型还差多少,而是很多团队把本该由工程侧解决的失败归因成了模型不行。排查顺序因此变得具体:先看上下文怎么组织,再看工具返回什么,最后才怀疑模型。正在做 agent 产品的团队照这个顺序走,能省掉大量无效调参。
2. Rauch:agent 的改动要能预览和回滚,才敢让它连续跑
查看原文 · 来源:Guillermo Rauch (@rauchg)
Rauch 把 agent 的使用体验接回运行环境和部署流程:每一版改动要能被人快速看到、快速回退,否则人不敢让它连续跑,agent 就只能停在玩具阶段。真正卡住落地的是验证环节,模型效果本身并非短板。产品取舍很直接:把 agent 的输出当成一次部署来处理,而不是当成一段对话。做 coding tool 的团队如果还没把预览、diff、回滚放进主流程,优先级该往前提。
3. Levie:企业部署 agent 卡在权限、责任归属和日志
查看原文 · 来源:Aaron Levie (@levie)
Levie 摆出企业部署 agent 的真实摩擦:数据放在哪、谁能授权、出错谁负责、日志留不留得下来。这些属于组织流程和权限边界问题,模型能力本身足以应付。只盯效果做 demo 的团队,进到 POC 第二阶段就会被安全评审拦下。权限模型和审计记录要在产品设计阶段就做进去,等客户 IT 提需求再补已经晚了。企业愿意付钱的是可控的 agent,更聪明的 agent 反而排在后面。
4. Peter Yang:coding agent 在一线具体承担哪一段工作
查看原文 · 来源:Peter Yang (@petergyang)
Peter Yang 把问题抛给一线使用者:coding agent 在你日常里承担哪一段,剩下的为什么还是自己写。回复里的用法分化很清楚,有人当补全用,有人让它整段接管重构,差别在于有没有测试和 review 兜底。分界线取决于项目有没有可自动验证的反馈回路,模型强弱影响不大。有测试的项目敢放权,没测试的项目只敢要片段。
5. Peter Yang:团队评估 coding agent 该看哪些指标
查看原文 · 来源:Peter Yang (@petergyang)
视角从个人体验转到团队评估:预算怎么花、按席位还是按用量、谁来推动、上线后怎么衡量真的省了时间;模型选择和部署形态直接决定数据边界与迁移成本。coding agent 已经进入采购流程,选错一次要一年才能纠回来。评估时最该看的指标是:在你们真实仓库跑一周之后,review 负担变重还是变轻;生成速度排在后面。这个指标比 benchmark 准。
6. Amjad Masad:agent 进用户请求路径前先算成本和延迟
查看原文 · 来源:Amjad Masad (@amasad)
Amjad 说的是 agent 从 demo 走到产品路径上的硬约束:一次任务跑多久、调多少次工具、失败重试会不会让成本翻倍。这些数字决定它放在异步任务里,还是放在用户等待的同步路径里。上线后体验崩掉的产品,多数是延迟和成本在产品形态里算不过来,效果差并非主因。动手前先把单次任务的 token 与工具调用预算算出来,再定交互形态;先做异步、允许人来回接管,通常比硬做实时靠谱。
7. Garry Tan:agent 周边的基础设施还有哪些位置有空间
查看原文 · 来源:Garry Tan (@garrytan)
Garry Tan 站早期团队视角:agent 这一层起来之后,哪些基础设施位置还有空间,小团队从哪个窄口切进去,而不是正面撞大厂。他看的是围在 agent 周围的观测、调度、评测,模型本身并非焦点。早期团队的优势是离具体工作流近,能先做出可验证的小闭环,而不是一上来铺平台。做 infra 的 builder 可以把它当需求清单看。
8. Thariq:同一代模型换套 harness 表现能差一截
查看原文 · 来源:Thariq (@trq212)
Thariq 谈的是模型能力和实际体感之间的落差:同一代模型换一套 harness、换一种上下文组织方式,表现能差出一截。模型版本号并非唯一变量,周边工程的差异经常更大。每次换模型都该在固定任务集上重跑自己的评测,不要直接信官方数字。把评测脚本先写好,比追新模型划算。
Daily AI News
Subscribe to AI News
Daily AI signal for builders: tools, agents, models, infra, product shifts, and the links behind each event.
No spam. Every issue links back to the original sources.
