Anthropic 喊停:AI 正在学会自己写代码
6 月 4 日,Anthropic(安瑟普)在官网上发了一篇让人坐不住的文章《当 AI 为自己编程》。他们没在那儿高谈阔论什么“行业转折点”,而是直接甩出一堆数据:现在的 AI 已经能自己写代码、自己改代码了。因为怕这东西跑偏,他们甚至罕见地建议全球研发先踩一脚刹车。
看看他们拿出的“成绩单”,确实有点吓人:
- 代码贡献率:到 2026 年 5 月,代码库里超过 80% 的新代码都是 Claude 写的。
- 产出速度:2026 年二季度,工程师平均交出的代码量是 2024 年同期的 8 倍。
- 训练提速:小模型的训练速度,一年里从快 3 倍直接飙到了 52 倍。
- 修 Bug 效率:几千次任务崩溃,AI 只要 2 小时就能定位并修好,人类得熬 2-3 天。
- 迭代周期:以前是每 7 个月能力翻倍,现在缩短到了每 4 个月。
这些数据背后有个挺让人后背发凉的趋势:随着 AI 不再需要人花大量时间去写代码、跑实验,它正在形成一种“递归自我改进”的闭环。简单说,就是在算力足够的时候,AI 能自己升级自己,不用人插手。
Anthropic 担心的是,如果这玩意儿失控了,后果很严重。虽然他们强调这阶段还没完全到,也不一定非发生不可,但风险可能在大家预料之前就来了。现在的模型里哪怕只有微小的“对齐偏差”(比如价值观没对齐),一旦 AI 开始自我迭代,这些偏差会被越滚越大,最后人类可能彻底失去对 AI 的控制权。
所以,Anthropic 抛出了一个争议很大的建议:
- 大家得坐在一起商量:呼吁各国政府、国际社区和顶尖实验室合作,搞个有效的监管框架。
- 必要时得踩刹车:如果情况不对,就得主动减缓甚至暂时停止尖端 AI 的研发。
- 图个啥? 给人类社会结构转型和 AI 对齐研究争取点时间。
不过,Anthropic 自己也承认,这事儿落地难如登天:
- 藏都藏不住:AI 训练比导弹发射井还隐蔽?别逗了,AI 训练根本藏不住,稍微有点动静全网都知道。
- 资本很难管:现在的竞争环境这么激烈,企业为了抢第一,肯定有动机偷偷摸摸违反“暂停协议”,哪怕这意味着前面的公司要掉队。
说到底,这篇警告虽然听起来很“负责任”,但真到了执行那一步,恐怕比登天还难。
