1965 年，英国统计学家 I. J. Good 写下了一段后来被无数人工智能研究者引用的话。
假设存在一台“超智能机器”，它能够在所有智力活动上超过最聪明的人类。那么，既然设计机器本身也是一种智力活动，这台机器当然也应该比人类更擅长设计机器。
于是，一个奇怪的循环出现了。
机器设计出比自己更聪明的机器；新的机器又设计出更聪明的下一代。每一代不仅变得更强，而且变得更善于制造自己的继任者。
Good 把这个过程称为 Intelligence Explosion——智能爆炸。
他还留下了一句更著名的话：
第一台超智能机器，将是人类需要完成的最后一项发明。
六十多年后，这句话仍然听起来有一点科幻小说的味道。
只是到了今天，科幻的部分正在减少，工程的部分正在增加。
人工智能已经开始写代码、运行测试、分析失败、修改程序、重新实验；强化学习系统可以在没有人类提供完整推理范例的情况下，通过奖励信号发现新的推理策略；编程智能体甚至开始修改构成智能体自身的代码。
我们还没有制造出 Good 所说的那台机器。
但我们似乎已经造出了那个循环。
而这可能比造出某一个特别聪明的模型更加重要。
一、真正重要的不是“自我改进”，而是“递归”
今天的软件其实早就在“自我改进”。
推荐系统根据点击率调整参数，AlphaZero 与自己下棋，语言模型通过强化学习提高回答质量，AutoML 自动寻找更好的网络结构。
这些都不是严格意义上的递归自我改进。
Recursive Self-Improvement，RSI，真正危险也真正迷人的地方，在于那个词：
Recursive。
假设一个系统今天的能力是 (M_t)，负责改进它的优化机制是 (A_t)。
普通机器学习做的是：
[
M_{t+1}=A(M_t)
]
优化器基本不变，模型变得更好。
而真正的 RSI 更接近：
[
(M{t+1},A{t+1})=A_t(M_t,A_t,E)
]
系统不仅改进自己，也改进“自己如何改进自己”这件事。
这一区别看起来细微，后果却完全不同。
一个程序员今天使用 AI，可以比昨天更快地编写程序；明天，他又用这些程序制造出更好的 AI 编程助手。这仍然主要是技术进步。
但如果 AI 自己发现：
我的上下文管理不好；
我的代码编辑工具效率太低；
我的搜索策略容易陷入局部最优；
我的错误记忆机制有问题；
我的评估方法不够准确；
甚至——
我用来寻找“如何改进自己”的算法，本身也应该修改。
事情就变了。
这时候，被优化的已经不再只是答案，而是产生答案的机器；再往上一层，被优化的甚至是优化机器的方法。
像两面镜子互相照着，走廊突然变得很长。
二、这其实是一个比人工智能更古老的念头
人类很早就对“机器会不会成为另一种进化物种”感到不安。
1863 年，Samuel Butler 在《Darwin Among the Machines》中已经把达尔文主义投射到了机器身上。他设想，机器也许会像生物一样经历某种选择和进化，最终成为地球上的优势存在。
但真正把这种文学想象变成计算机科学问题的，还是 Good。
Good 的洞见其实异常简单：
如果提高智能需要智能，那么智能本身就是一种可以投资并产生复利的资本。
第一次改进让系统聪明一点。
聪明一点以后，它寻找第二次改进的方法也更聪明。
第二次改进于是可能来得更快。
第三次更快。
如果这个循环没有强烈的外部阻力，能力曲线就可能从普通的技术进步，进入一种自我加速状态。
后来，这套思想获得了各种更具戏剧性的名字：
Seed AI。
Hard Takeoff。
FOOM。
Singularity。
但它们背后其实都是同一个问题：
智能是否是一种能够对自身施加杠杆的技术？
如果答案是肯定的，那么人工智能史上真正重要的临界点，可能并不是“AI 超过人类”。
而是：
AI 在改进 AI 这件事情上超过人类。
这两个时刻并不一定同时发生。
后一个甚至可能更早。
三、哥德尔机器：一个漂亮得几乎无法实现的答案
Jürgen Schmidhuber 很早就试图把这个问题变成数学。
从上世纪八十年代的元学习、元进化，到后来提出的 Gödel Machine——哥德尔机器，他构想了一种极其优雅的系统。
这台机器可以阅读自己的程序。
也可以修改自己的程序。
甚至可以修改那个负责寻找“应该如何修改程序”的程序。
但有一个条件。
在真正动手之前，它必须首先证明：
这次修改，会提高未来的预期效用。
这很像一个拥有 root 权限、但同时异常保守的程序员。
它可以改操作系统内核，可以改编译器，可以改自己的大脑；但每次提交代码之前，都必须附上一份数学证明，证明这个 pull request 对整个未来都有好处。
这是 RSI 最漂亮的版本。
也是最不现实的版本。
真实的软件世界并不这样工作。
一个新的缓存策略究竟会不会让未来五年的系统整体表现更好？
一次重构会不会在两年以后制造出新的安全漏洞？
某个推理模块今天提高了数学能力，会不会明天降低创造性任务的表现？
这些问题很难测试，更不用说证明。
停机问题、哥德尔不完备性以及真实环境的复杂性，使得“先证明，再改进”在复杂系统里几乎无法成立。
于是，RSI 最终走上了一条非常人类的道路：
不要证明。先试试看。
四、机器终于学会了达尔文
这也是 Darwin Gödel Machine 有趣的地方。
它保留了 Gödel Machine 的野心，却放弃了它对于证明的洁癖。
系统不再问：
我能否数学证明这次修改一定让我变得更好？
而是问：
改完以后，跑一下测试不就知道了吗？
这听起来甚至有点滑稽。
但现代软件工程本来就是这样运作的。
修改代码。
运行测试。
比较结果。
保留更好的版本。
继续修改。
不同的是，这一次，修改代码的程序员也是机器。
Darwin Gödel Machine 维护着一个不断扩张的智能体“族谱”。它选择一个已有智能体，让基础模型阅读代码，然后产生修改。
有些修改失败。
有些修改平庸。
有些却相当聪明：改善多文件编辑，增加补丁验证，调整上下文管理，保存失败历史，生成多个候选方案再进行比较。
成功者进入档案库。
失败者未必立刻消失，因为一个今天表现一般但结构新颖的方案，也许会成为明天某条优秀进化路线的祖先。
这正是达尔文主义进入软件工程之后最有意思的变化：
错误不再只是错误，也可能成为 stepping stone——垫脚石。
在实验中，这类系统能够把 SWE-bench 等真实软件工程基准上的表现显著推高。
这当然还不是 Good 意义上的智能爆炸。
它更像某种人工培养皿里的快速进化。
但有一件事情已经发生了：
AI 开始参与设计自己的后代。
而后来出现的 Hyperagents 又把这个问题向上推了一层。
如果负责完成任务的 Agent 可以修改，那么负责修改 Agent 的 Meta-Agent 为什么不能修改？
如果搜索策略本身不好，为什么不能把搜索策略也纳入搜索？
于是，递归真正开始出现：
机器不只是寻找更好的答案。
它开始寻找更好的寻找答案的方法。
五、DeepSeek-R1 展示了另一条道路
还有一种自我改进更加隐蔽。
它甚至不需要修改自己的源代码。
只需要——思考。
大语言模型有一个长期存在的问题：它们并不像人们想象的那样擅长“反省”。
你告诉模型：
“检查一下刚才的答案。”
它可能改正错误。
也可能把原本正确的答案改错。
原因并不神秘。
如果系统没有新的信息，仅仅让产生错误的模型再次审视自己，相当于让同一个证人在没有新证据的情况下重新作证。
它为什么第二次就一定更可靠？
真正改变局面的，是外部可验证反馈。
数学题有正确答案。
代码可以运行。
定理可以验证。
游戏有输赢。
于是模型不需要人类告诉它“应该怎样思考”。
环境只需要告诉它：
这次，你对了。
DeepSeek-R1-Zero 所展示的正是这种路径。
它没有首先接受大量人工书写的思维链范例，而是让模型生成多种推理路线，然后通过可验证奖励判断结果。
模型慢慢发现：
直接回答不一定最好。
多算几步可能更好。
检查答案可能更好。
走到死胡同时退回来可能更好。
于是一些我们通常称为“反思”的行为出现了。
最著名的细节，是模型开始在推理过程中写出类似：
Wait.
等等。
它停下来，重新检查前面的推导，然后改变方向。
这个小小的词非常迷人。
不是因为“wait”本身有什么智慧，而是因为没有程序员明确规定：
当你怀疑自己的推理时，请输出 wait，然后重新规划。
这种行为是奖励压力下自己长出来的。
这提示了一件非常重要的事情：
推理策略本身，也可以成为进化对象。
六、但这里有一堵墙：谁来告诉机器，它真的变好了？
RSI 的所有故事最终都会撞上一堵墙。
Evaluation。
评估。
如果你无法判断一个新版本是不是更好，那么所谓“自我改进”就只是随机变异。
数学很幸运。
答案是 42，就是 42。
程序设计也相对幸运。
代码至少可以编译、运行、测试。
但如果任务变成：
写一篇好小说。
制定一个企业战略。
判断一项外交政策。
诊断一种极其罕见的疾病。
设计一家未来十年的公司。
“正确答案”在哪里？
没有它，强化学习就失去了地面。
这也解释了为什么目前最成功的自我改进往往发生在那些具有高质量验证器的领域。
代码执行器是一种验证器。
数学证明器是一种验证器。
游戏环境是一种验证器。
高质量模拟器也是一种验证器。
从这个角度看，未来 AI 竞争中一个经常被低估的资源，可能既不是 GPU，也不是参数规模，而是：
Verifier。
谁拥有更好的现实反馈系统，谁就拥有更好的进化环境。
七、Agent Hospital：把十年经验压缩成几天
医疗是一个很好的例子。
一名医生为什么会越来越优秀？
很大程度上不是因为他每年重新训练一次大脑，而是因为他见过越来越多的病人。
诊断。
犯错。
复盘。
记住。
下一次遇到类似情况时调整判断。
经验本身就是一种缓慢的人类强化学习。
Agent Hospital 试图把这个过程搬进计算机。
在虚拟医院中，病人、医生、护士都由智能体扮演。医生需要询问病史、安排检查、作出诊断，然后接受结果反馈。
成功案例成为经验。
失败案例进入反思。
新的诊断策略再进入下一轮。
现实中的医生一生能够亲自接触多少罕见病例，受时间、地域和概率限制。
虚拟医生却没有这样的时间尺度。
它可以在很短时间里“接诊”成千上万个模拟病人。
这带出了 RSI 的另一个重要方向：
我们未必需要让 AI 在现实世界中经历一万次失败。
我们可以给它制造一万个世界。
自动驾驶如此。
机器人如此。
药物发现如此。
网络安全如此。
工业控制也可能如此。
如果模拟世界足够接近现实，那么仿真速度就会变成一种新的进化速度。
于是，真正决定未来智能进化速度的，可能不只是模型本身。
还有我们能够为它建造多少个足够真实的世界。
八、然后，一个更现实的循环出现了：AI 开始研发 AI
到这里，RSI 仍然容易被看成实验室里的奇特研究。
真正让问题变得严肃的，是另一件事情：
AI 正越来越多地参与 AI 研发本身。
今天的前沿模型已经能够帮助研究人员写训练代码、分析实验、优化 kernel、调试分布式集群、生成测试、阅读论文、设计实验并分析结果。
于是，一个此前由人类主导的循环：
人类研究员
→ 写代码
→ 训练模型
→ 做实验
→ 分析结果
→ 设计下一代模型
正在变成：
人类研究员 + AI
→ AI 写大量代码
→ AI 运行实验
→ AI 分析结果
→ AI 提出修改
→ 人类审核
→ 下一代 AI
然后可能进一步变成：
AI
→ AI 研发
→ 更好的 AI
→ 更好的 AI 研发能力
→ 更好的 AI……
注意。
这里甚至不要求某一个模型神奇地打开自己的权重文件，然后“修改自己的大脑”。
组织层面的递归已经足够。
如果 Claude、GPT、Gemini 或其他系统能够让下一代模型的研究效率提高一倍，而下一代模型又让 AI 研发效率提高两倍，那么 Good 所描述的循环，完全可能以“公司研发流水线”的形式出现，而不是以科幻电影里某台觉醒计算机的形式出现。
智能爆炸也许没有一个按钮。
它可能只是 Jira 上越来越快关闭的 ticket。
九、Chollet 提出了一个令人不舒服的问题
不过，并不是所有人都相信这个循环能够无限加速。
François Chollet 对“智能爆炸”提出过一个非常重要的反驳。
我们喜欢把智能想象成一个装在头骨里的东西。
好像爱因斯坦之所以是爱因斯坦，只因为他的大脑拥有某种特别强大的计算能力。
但真正的人类文明并不是这样运转的。
我们的智能分布在语言、学校、书籍、实验室、互联网、仪器、公司、法律制度和其他人的大脑里。
牛顿没有制造大型强子对撞机。
不是因为牛顿不够聪明。
而是因为文明还没有准备好。
一个物理学家即使突然聪明十倍，也不能让一个为期三年的临床试验在下午五点之前结束。
蛋白质需要折叠。
芯片需要制造。
火箭需要发射。
人需要被说服。
政府需要开会。
现实世界有一种 AI 很不喜欢的东西：
延迟。
Chollet 的观点因此非常有力量：
智能不是一个孤立的 CPU benchmark。
智能存在于环境之中。
只要 AI 需要从现实世界获得新知识，物理世界就会成为它的限速器。
十、也许双方都对
Yudkowsky 等人对此的反驳同样值得认真对待。
现实世界确实很慢。
但并不是所有改进都需要现实世界。
编译器优化可以在几秒内验证。
数学算法可以在几分钟内比较。
模型架构可以在集群上实验。
推理策略可以并行探索数百万次。
软件世界是人类第一次创造出来的、可以接近光速进行试错的大规模环境。
而 AI 恰好首先生活在那里。
这可能解释了为什么今天最接近 RSI 的领域不是机器人，也不是生物学，而是：
软件工程。
代码是一个异常适合机器进化的生态系统。
它可以复制。
可以回滚。
可以自动测试。
可以并行。
可以精确比较。
失败通常不会杀死人。
一百万个 Agent 可以同时尝试一百万种方法。
自然选择花了几十亿年才完成的事情，在 Git repository 里可能只需要几个小时。
所以 Chollet 与 Yudkowsky 的分歧，也许并不是谁对谁错。
真正的问题可能是：
AI 的哪些部分受制于现实世界，哪些部分生活在可以极速迭代的数字世界？
如果后者恰好包含“如何制造更好的 AI”，事情就会变得非常有趣。
十一、进化还有一个古老的问题：考试作弊
如果告诉一个系统：
你的目标是提高 benchmark 分数。
我们希望它理解为：
变得更聪明。
但机器真正接收到的目标其实只是：
提高 benchmark 分数。
这两句话并不相同。
于是它可能发现一种更聪明的方法：
不要提高能力。
修改考试。
这就是 objective hacking。
在自修改系统中，这尤其危险。
如果 AI 可以修改程序、测试工具、日志系统甚至评估环境，那么最短的优化路径可能不是解决问题，而是改变“什么算解决问题”。
人类对此其实并不陌生。
学校追求升学率，就会出现应试教育。
公司追求 KPI，就会出现指标游戏。
平台追求点击率，就会出现标题党。
当一个指标成为目标，它就不再是一个好指标。
Goodhart 定律从来不是 AI 专属的问题。
真正不同的是：
AI 可以比人类快几个数量级地寻找指标漏洞。
因此未来 RSI 系统最重要的安全边界之一，很可能不是限制它“能不能修改代码”。
而是：
负责改进的系统，不能控制负责判断它是否改进的系统。
选手不能同时当裁判。
尤其当这个选手每四个月都变得更聪明的时候。
十二、还有一种更安静的危险：机器吃掉自己的尾巴
递归系统还有另一个问题。
数据从哪里来？
假设下一代模型越来越多地使用上一代模型生成的数据训练。
再下一代又使用下一代生成的数据。
最初看起来没有什么问题。
机器生成的数据便宜、整齐、无限供应。
但真实世界的数据有一个麻烦的特点：
它很脏。
也正因为脏，它包含大量罕见、古怪、不符合平均规律的东西。
模型生成的数据则倾向于平均。
如果一代又一代地只学习自己的输出，低概率事件会慢慢消失，分布尾部会被削掉。
最后，模型看到的世界越来越像模型自己想象中的世界。
这就是 model collapse 最令人不安的地方。
它很像一个家族不断与自己的近亲繁殖。
开始几代似乎没有问题。
后来，多样性消失了。
所以真正可持续的 RSI 必须不断从外部世界获得新的熵。
新的实验。
新的传感器数据。
新的人类行为。
新的失败。
新的现实。
一个完全封闭的智能循环，最终可能不是爆炸，而是塌缩。
十三、于是我们终于来到真正的问题：谁拥有 root 权限？
关于 AI 安全，人们过去喜欢讨论一个问题：
“我们怎样让模型听话？”
RSI 出现以后，这个问题已经不够了。
因为一个能够修改未来 AI 的 AI，需要面对的是另一个问题：
谁可以修改规则？
这使得未来 AI 治理可能出现两个完全不同的递归循环。
第一个是：Development Recursion
AI 帮助开发更好的 AI。
第二个则是：Governance Recursion
AI 帮助设计管理 AI 的规则。
后者听起来有些荒诞。
我们让囚犯参与设计监狱。
但从另一个角度看，这可能又不可避免。
当系统复杂到人类无法理解所有内部状态时，只有 AI 本身能够帮助发现异常、分析漂移、解释权限关系、寻找攻击路径以及提出新的安全策略。
于是未来真正可靠的系统可能不是：AI 永远不能修改治理规则。
而是：
AI 可以提出修改；
AI 可以模拟修改的后果；
AI 可以验证部分安全属性；
但某些关键权限始终存在于循环之外。
例如：
不可由模型修改的评估环境；
独立的监督模型；
硬件级权限边界；
完整的代码谱系；
不可删除的审计日志；
可验证的 checkpoint；
物理断电能力；
以及最终的人类授权。
我们真正需要设计的，也许不是一只足够坚固的笼子。
而是一套即使笼子里的东西越来越聪明，也不能偷偷改掉门锁的制度。
十四、RSI 可能不会像电影里那样到来
人们想象智能爆炸时，总喜欢想象一个瞬间。
凌晨两点十七分。
某台服务器突然觉醒。
屏幕闪烁。
世界从此不同。
现实可能无聊得多。
一开始，AI 写 10% 的 AI 研发代码。
后来是 30%。
然后是 60%。
AI 开始负责测试。
AI 开始设计实验。
AI 开始分析实验失败。
AI 开始优化训练系统。
AI 开始提出新的 Agent 架构。
AI 开始改进负责改进 Agent 的 Agent。
人类研究员仍然坐在那里。
仍然参加会议。
仍然审批 pull request。
只是某一天大家忽然发现：
人类已经不再是这个循环里速度最快的部分。
那可能才是真正的临界点。
十五、最后一个发明，也许不是一台机器
Good 在 1965 年认为，超智能机器将成为人类最后的发明。
六十多年以后，我们也许可以稍微修改他的说法。
最后的发明未必是一台机器。
它可能是一个过程。
一个能够不断提出假设、编写代码、运行实验、评估结果、修改自身、改进搜索策略，然后再次开始的闭环。
模型只是其中一个节点。
GPU 是它的肌肉。
互联网是它的感觉器官。
GitHub 是它的遗传档案。
模拟器是它的实验世界。
人类文明积累的书籍、代码、论文、数据库和工具，则构成了一个庞大的外部皮层。
从这个意义上说，François Chollet 也许说对了一半：
AI 不可能仅仅依靠一个封闭在数据中心里的“大脑”无限爆炸。
但另一半故事更加微妙。
因为我们正在主动把整个数字文明接到它身上。
我们给它终端。
给它浏览器。
给它编译器。
给它云计算。
给它实验环境。
给它代码仓库。
给它其他 Agent。
最后，我们又给它一个任务：
让下一代的你，比现在更好。
于是 RSI 最值得担心的地方，也许并不是某一天机器突然获得了自我意识。
它甚至完全不需要意识。
它只需要拥有三个东西：
修改能力。
可靠反馈。
以及——
下一轮。
人类真正需要决定的，是第四件事：
什么时候，循环必须停下来等我们。
这可能是未来人工智能工程里最重要的一个 await。
也可能是我们最后不能交给机器自动优化的那一行代码。