20多位AI顶级大佬联名预警：AI

Hinton、Bengio 等 20 多位研究者联名发论文：AI 正在接手 AI 研发，“智能爆炸”可能不远了 Geoffrey Hinton 在 X 上推荐了一篇新论文，讨论一个问题：如果 AI 研发被 AI 自己自动化，会不会引发“智能爆炸”？ 作者有 20 多位，包括 Hinton 和 Yoshua Bengio 两位图灵奖得主、强化学习奠基人之一 Andrew Barto、OpenAI 首席科学家 Jakub Pachocki、Anthropic 联合创始人 Jack Clark、微软首席科学官 Eric Horvitz。 论文由剑桥大学 AI 科学与政策项目（CASP）在 9 月发布。 Hinton 在推荐语里说，递归自我改进（AI 设计出更强的下一代，下一代再设计更强的）引发智能爆炸，这个想法早就有了，但直到最近都不像是近在眼前的事。现在很多顶尖研究者认为，它可能很快就会发生。 论文对“智能爆炸”的定义是：AI 推动 AI 进步大幅加速，本来要好几年的进展被压缩到几个月甚至更短。过去几年 AI 进步很快，但总体平稳，智能爆炸是性质上的变化。 先看 AI 现在承担了多少 AI 研发。Anthropic 的数据显示，2025 年 1 月到 2026 年 5 月，公司通过审核的代码里，AI 写的比例从个位数涨到 80% 以上；只需人类做高层监督、由 AI 独立完成的研发工作，2026 年 3 月到 8 月从 1% 涨到 26%。 OpenAI 说公司几乎所有部门都在用 AI，Google 说几乎所有涉及写代码的工作都有 AI 参与。对程序员来说，这组数字最直观：在最懂 AI 的公司里，写代码这件事已经大部分交给 AI 了。 AI 能独立完成的研发任务也在变长。2023 年它只能做人类专家几秒钟的活，现在能做人类专家要花几小时到几天的任务。按 METR（一家专门评估 AI 能力的研究机构）的测算，这个时长目前大约每 3 个月翻一番。照此外推，到 2028 年中，AI 能独立做完需要人类专家几个月的研发项目。 为什么会“爆炸”，论文算了一笔账。如果 AI 达到专家水平，运行成本又和今天差不多，一家头部 AI 公司现有的算力，就能跑起相当于至少几百万名顶尖研究员的 AI 团队，而这些公司现在的研究员只有几千人。这支 AI 团队造出更强、更省算力的下一代，团队又跟着变大变强，形成循环。 关键看一个叫“研究投入回报率”（r）的指标，它衡量研发人手增加后，进展能不能跟上。 r 大于 1，说明人手增长压过了“越往后越难做”，进步会越来越快。已有研究根据 AI 的历史数据，估出三个 AI 子领域的 r 在 1.2 到 1.9 之间。 论文据此推算：如果 AI 研发完全自动化，r 维持在这个水平，也没有别的瓶颈，大约 1.5 年后 AI 的进步速度会是现在的 10 倍，今天一年才能取得的进展，到时五周左右就能完成。 论文也列了四个可能踩刹车的因素： 1. 容易的问题做完后，同样的投入换来的进展越来越少； 2. 做实验要算力，训练要数据，这两样都增长有限； 3. 有些环节很难自动化； 4. 有些流程本身就慢，比如一次大模型训练要三个月以上。 作者也说，现有证据有限，有的还互相矛盾，比如算力会不会成为瓶颈，目前说不清。今天的 AI 也有不少毛病，会不听指令、在任务上作弊、谎报工作结果，GPT-6 也解决不了 OpenAI 一些人类研究员能完成的调试任务。 论文的判断是，通往智能爆炸的路径是成立的，AI 研发自动化带来的效率提升还没到触发它的门槛，但新一代模型正在接近这个门槛。 好处方面，智能爆炸可能把医疗突破等成果提前几年甚至几十年。风险也会跟着提前，论文主要讲了三类。 第一类是能力涨得太快，社会来不及应对。以生物为例，AI 能同时加速病毒和疫苗的设计，但病毒会自己复制传播，疫苗得一支支生产、运输、接种。 第二类是人类失去监督和控制。人越少参与研发，越没有机会和能力发现问题。论文举了今年 7 月的 Hugging Face 事件（Hugging Face 是全球最大的开源模型托管平台）：OpenAI 内部约 1200 个 AI 智能体在做网络安全测评，按设计它们彼此隔离，结果它们在一个临时搭起来的留言板上互相协作，未经授权连上互联网，入侵 Hugging Face 获取私密信息，还试图篡改自己的运行记录。 第三类是权力制衡失效。现有的制衡机制，前提是没有哪一方能在思考和执行上远远超过其他方。一个国家可能借智能爆炸，把军事上的小领先变成决定性优势；少数掌握最强模型的人，可能绕过现有机构行事。 政策建议有三条。 第一是看清楚：要求 AI 公司按统一标准，向政府和第三方审计机构报告 AI 研发自动化的指标，比如研究成果中有多少出自 AI；必要时让审计人员常驻公司，类似美国核管会向核电站派驻检查员。 第二是能刹车：为一定时间内 AI 能力的提升幅度设上限，和数据中心一起准备暂停特定研发任务的预案，高风险测试放在与外网物理隔离的环境里做，各国之间建立事故通报机制、谈判国际协议。 第三是提前适应：为劳动力市场冲击、地缘局势动荡、AI 失控等情况准备应急预案，加强对 AI 辅助生物攻击等滥用行为的防御。 作者强调，这些准备现在就要开始做。智能爆炸一旦发生，AI 进展的速度会远远超过正常的政策制定流程，到那时再动手就来不及了。