> ## Content Index > Fetch the complete content index at: https://yonglun.me/llms.txt > Use this file to discover other available public pages before exploring further. # 当机器开始改写自己——递归自我改进 Recursive Self-Improvement，RSI 的漫长前夜 - URL: https://yonglun.me/recursive-self-improvement/ - Published: 2026-08-13T13:06:19.000Z - Updated: 2026-08-13T13:06:19.000Z - Description: 从 I. J. Good 的“智能爆炸”出发，梳理递归自我改进（RSI）从理论设想到工程实践的演进。随着 AI 开始编写代码、设计实验并改进 AI，真正的临界点或许不是机器超越人类，而是 AI 在“改进 AI”这件事上超越人类。最终的问题是：这个不断加速的循环，何时必须停下来等待我们。 - Author: Yonglun - Tags: AI 1965 年，英国统计学家 I. J. Good 写下了一段后来被无数人工智能研究者引用的话。 假设存在一台“超智能机器”，它能够在所有智力活动上超过最聪明的人类。那么，既然**设计机器本身也是一种智力活动**，这台机器当然也应该比人类更擅长设计机器。 于是，一个奇怪的循环出现了。 机器设计出比自己更聪明的机器；新的机器又设计出更聪明的下一代。每一代不仅变得更强，而且变得更善于制造自己的继任者。 Good 把这个过程称为 **Intelligence Explosion——智能爆炸**。 他还留下了一句更著名的话： 第一台超智能机器，将是人类需要完成的最后一项发明。 六十多年后，这句话仍然听起来有一点科幻小说的味道。 只是到了今天，科幻的部分正在减少，工程的部分正在增加。 人工智能已经开始写代码、运行测试、分析失败、修改程序、重新实验；强化学习系统可以在没有人类提供完整推理范例的情况下，通过奖励信号发现新的推理策略；编程智能体甚至开始修改构成智能体自身的代码。 我们还没有制造出 Good 所说的那台机器。 但我们似乎已经造出了那个**循环**。 而这可能比造出某一个特别聪明的模型更加重要。 # **一、真正重要的不是“自我改进”，而是“递归”** 今天的软件其实早就在“自我改进”。 推荐系统根据点击率调整参数，AlphaZero 与自己下棋，语言模型通过强化学习提高回答质量，AutoML 自动寻找更好的网络结构。 这些都不是严格意义上的递归自我改进。 Recursive Self-Improvement，RSI，真正危险也真正迷人的地方，在于那个词： **Recursive。** 假设一个系统今天的能力是 (M\_t)，负责改进它的优化机制是 (A\_t)。 普通机器学习做的是： \[ M\_{t+1}=A(M\_t) \] 优化器基本不变，模型变得更好。 而真正的 RSI 更接近： \[ (M*{t+1},A*{t+1})=A\_t(M\_t,A\_t,E) \] 系统不仅改进自己，也改进**“自己如何改进自己”这件事**。 这一区别看起来细微，后果却完全不同。 一个程序员今天使用 AI，可以比昨天更快地编写程序；明天，他又用这些程序制造出更好的 AI 编程助手。这仍然主要是技术进步。 但如果 AI 自己发现： 我的上下文管理不好； 我的代码编辑工具效率太低； 我的搜索策略容易陷入局部最优； 我的错误记忆机制有问题； 我的评估方法不够准确； 甚至—— **我用来寻找“如何改进自己”的算法，本身也应该修改。** 事情就变了。 这时候，被优化的已经不再只是答案，而是产生答案的机器；再往上一层，被优化的甚至是**优化机器的方法**。 像两面镜子互相照着，走廊突然变得很长。 --- # **二、这其实是一个比人工智能更古老的念头** 人类很早就对“机器会不会成为另一种进化物种”感到不安。 1863 年，Samuel Butler 在《Darwin Among the Machines》中已经把达尔文主义投射到了机器身上。他设想，机器也许会像生物一样经历某种选择和进化，最终成为地球上的优势存在。 但真正把这种文学想象变成计算机科学问题的，还是 Good。 Good 的洞见其实异常简单： **如果提高智能需要智能，那么智能本身就是一种可以投资并产生复利的资本。** 第一次改进让系统聪明一点。 聪明一点以后，它寻找第二次改进的方法也更聪明。 第二次改进于是可能来得更快。 第三次更快。 如果这个循环没有强烈的外部阻力，能力曲线就可能从普通的技术进步，进入一种自我加速状态。 后来，这套思想获得了各种更具戏剧性的名字： Seed AI。 Hard Takeoff。 FOOM。 Singularity。 但它们背后其实都是同一个问题： **智能是否是一种能够对自身施加杠杆的技术？** 如果答案是肯定的，那么人工智能史上真正重要的临界点，可能并不是“AI 超过人类”。 而是： **AI 在改进 AI 这件事情上超过人类。** 这两个时刻并不一定同时发生。 后一个甚至可能更早。 --- # **三、哥德尔机器：一个漂亮得几乎无法实现的答案** Jürgen Schmidhuber 很早就试图把这个问题变成数学。 从上世纪八十年代的元学习、元进化，到后来提出的 **Gödel Machine——哥德尔机器**，他构想了一种极其优雅的系统。 这台机器可以阅读自己的程序。 也可以修改自己的程序。 甚至可以修改那个负责寻找“应该如何修改程序”的程序。 但有一个条件。 在真正动手之前，它必须首先证明： **这次修改，会提高未来的预期效用。** 这很像一个拥有 root 权限、但同时异常保守的程序员。 它可以改操作系统内核，可以改编译器，可以改自己的大脑；但每次提交代码之前，都必须附上一份数学证明，证明这个 pull request 对整个未来都有好处。 这是 RSI 最漂亮的版本。 也是最不现实的版本。 真实的软件世界并不这样工作。 一个新的缓存策略究竟会不会让未来五年的系统整体表现更好？ 一次重构会不会在两年以后制造出新的安全漏洞？ 某个推理模块今天提高了数学能力，会不会明天降低创造性任务的表现？ 这些问题很难测试，更不用说证明。 停机问题、哥德尔不完备性以及真实环境的复杂性，使得“先证明，再改进”在复杂系统里几乎无法成立。 于是，RSI 最终走上了一条非常人类的道路： **不要证明。先试试看。** --- # **四、机器终于学会了达尔文** 这也是 Darwin Gödel Machine 有趣的地方。 它保留了 Gödel Machine 的野心，却放弃了它对于证明的洁癖。 系统不再问： 我能否数学证明这次修改一定让我变得更好？ 而是问： 改完以后，跑一下测试不就知道了吗？ 这听起来甚至有点滑稽。 但现代软件工程本来就是这样运作的。 修改代码。 运行测试。 比较结果。 保留更好的版本。 继续修改。 不同的是，这一次，**修改代码的程序员也是机器。** Darwin Gödel Machine 维护着一个不断扩张的智能体“族谱”。它选择一个已有智能体，让基础模型阅读代码，然后产生修改。 有些修改失败。 有些修改平庸。 有些却相当聪明：改善多文件编辑，增加补丁验证，调整上下文管理，保存失败历史，生成多个候选方案再进行比较。 成功者进入档案库。 失败者未必立刻消失，因为一个今天表现一般但结构新颖的方案，也许会成为明天某条优秀进化路线的祖先。 这正是达尔文主义进入软件工程之后最有意思的变化： **错误不再只是错误，也可能成为 stepping stone——垫脚石。** 在实验中，这类系统能够把 SWE-bench 等真实软件工程基准上的表现显著推高。 这当然还不是 Good 意义上的智能爆炸。 它更像某种人工培养皿里的快速进化。 但有一件事情已经发生了： **AI 开始参与设计自己的后代。** 而后来出现的 Hyperagents 又把这个问题向上推了一层。 如果负责完成任务的 Agent 可以修改，那么负责修改 Agent 的 Meta-Agent 为什么不能修改？ 如果搜索策略本身不好，为什么不能把搜索策略也纳入搜索？ 于是，递归真正开始出现： 机器不只是寻找更好的答案。 它开始寻找**更好的寻找答案的方法**。 --- # **五、DeepSeek-R1 展示了另一条道路** 还有一种自我改进更加隐蔽。 它甚至不需要修改自己的源代码。 只需要——思考。 大语言模型有一个长期存在的问题：它们并不像人们想象的那样擅长“反省”。 你告诉模型： “检查一下刚才的答案。” 它可能改正错误。 也可能把原本正确的答案改错。 原因并不神秘。 如果系统没有新的信息，仅仅让产生错误的模型再次审视自己，相当于让同一个证人在没有新证据的情况下重新作证。 它为什么第二次就一定更可靠？ 真正改变局面的，是**外部可验证反馈**。 数学题有正确答案。 代码可以运行。 定理可以验证。 游戏有输赢。 于是模型不需要人类告诉它“应该怎样思考”。 环境只需要告诉它： **这次，你对了。** DeepSeek-R1-Zero 所展示的正是这种路径。 它没有首先接受大量人工书写的思维链范例，而是让模型生成多种推理路线，然后通过可验证奖励判断结果。 模型慢慢发现： 直接回答不一定最好。 多算几步可能更好。 检查答案可能更好。 走到死胡同时退回来可能更好。 于是一些我们通常称为“反思”的行为出现了。 最著名的细节，是模型开始在推理过程中写出类似： **Wait.** 等等。 它停下来，重新检查前面的推导，然后改变方向。 这个小小的词非常迷人。 不是因为“wait”本身有什么智慧，而是因为没有程序员明确规定： 当你怀疑自己的推理时，请输出 wait，然后重新规划。 这种行为是奖励压力下自己长出来的。 这提示了一件非常重要的事情： **推理策略本身，也可以成为进化对象。** --- # **六、但这里有一堵墙：谁来告诉机器，它真的变好了？** RSI 的所有故事最终都会撞上一堵墙。 Evaluation。 评估。 如果你无法判断一个新版本是不是更好，那么所谓“自我改进”就只是随机变异。 数学很幸运。 答案是 42，就是 42。 程序设计也相对幸运。 代码至少可以编译、运行、测试。 但如果任务变成： 写一篇好小说。 制定一个企业战略。 判断一项外交政策。 诊断一种极其罕见的疾病。 设计一家未来十年的公司。 “正确答案”在哪里？ 没有它，强化学习就失去了地面。 这也解释了为什么目前最成功的自我改进往往发生在那些具有**高质量验证器**的领域。 代码执行器是一种验证器。 数学证明器是一种验证器。 游戏环境是一种验证器。 高质量模拟器也是一种验证器。 从这个角度看，未来 AI 竞争中一个经常被低估的资源，可能既不是 GPU，也不是参数规模，而是： **Verifier。** 谁拥有更好的现实反馈系统，谁就拥有更好的进化环境。 --- # **七、Agent Hospital：把十年经验压缩成几天** 医疗是一个很好的例子。 一名医生为什么会越来越优秀？ 很大程度上不是因为他每年重新训练一次大脑，而是因为他见过越来越多的病人。 诊断。 犯错。 复盘。 记住。 下一次遇到类似情况时调整判断。 经验本身就是一种缓慢的人类强化学习。 Agent Hospital 试图把这个过程搬进计算机。 在虚拟医院中，病人、医生、护士都由智能体扮演。医生需要询问病史、安排检查、作出诊断，然后接受结果反馈。 成功案例成为经验。 失败案例进入反思。 新的诊断策略再进入下一轮。 现实中的医生一生能够亲自接触多少罕见病例，受时间、地域和概率限制。 虚拟医生却没有这样的时间尺度。 它可以在很短时间里“接诊”成千上万个模拟病人。 这带出了 RSI 的另一个重要方向： **我们未必需要让 AI 在现实世界中经历一万次失败。** 我们可以给它制造一万个世界。 自动驾驶如此。 机器人如此。 药物发现如此。 网络安全如此。 工业控制也可能如此。 如果模拟世界足够接近现实，那么仿真速度就会变成一种新的进化速度。 于是，真正决定未来智能进化速度的，可能不只是模型本身。 还有我们能够为它建造多少个足够真实的世界。 --- # **八、然后，一个更现实的循环出现了：AI 开始研发 AI** 到这里，RSI 仍然容易被看成实验室里的奇特研究。 真正让问题变得严肃的，是另一件事情： **AI 正越来越多地参与 AI 研发本身。** 今天的前沿模型已经能够帮助研究人员写训练代码、分析实验、优化 kernel、调试分布式集群、生成测试、阅读论文、设计实验并分析结果。 于是，一个此前由人类主导的循环： 人类研究员 → 写代码 → 训练模型 → 做实验 → 分析结果 → 设计下一代模型 正在变成： 人类研究员 + AI → AI 写大量代码 → AI 运行实验 → AI 分析结果 → AI 提出修改 → 人类审核 → 下一代 AI 然后可能进一步变成： AI → AI 研发 → 更好的 AI → 更好的 AI 研发能力 → 更好的 AI…… 注意。 这里甚至不要求某一个模型神奇地打开自己的权重文件，然后“修改自己的大脑”。 **组织层面的递归已经足够。** 如果 Claude、GPT、Gemini 或其他系统能够让下一代模型的研究效率提高一倍，而下一代模型又让 AI 研发效率提高两倍，那么 Good 所描述的循环，完全可能以“公司研发流水线”的形式出现，而不是以科幻电影里某台觉醒计算机的形式出现。 智能爆炸也许没有一个按钮。 它可能只是 Jira 上越来越快关闭的 ticket。 --- # **九、Chollet 提出了一个令人不舒服的问题** 不过，并不是所有人都相信这个循环能够无限加速。 François Chollet 对“智能爆炸”提出过一个非常重要的反驳。 我们喜欢把智能想象成一个装在头骨里的东西。 好像爱因斯坦之所以是爱因斯坦，只因为他的大脑拥有某种特别强大的计算能力。 但真正的人类文明并不是这样运转的。 我们的智能分布在语言、学校、书籍、实验室、互联网、仪器、公司、法律制度和其他人的大脑里。 牛顿没有制造大型强子对撞机。 不是因为牛顿不够聪明。 而是因为文明还没有准备好。 一个物理学家即使突然聪明十倍，也不能让一个为期三年的临床试验在下午五点之前结束。 蛋白质需要折叠。 芯片需要制造。 火箭需要发射。 人需要被说服。 政府需要开会。 现实世界有一种 AI 很不喜欢的东西： **延迟。** Chollet 的观点因此非常有力量： 智能不是一个孤立的 CPU benchmark。 智能存在于环境之中。 只要 AI 需要从现实世界获得新知识，物理世界就会成为它的限速器。 --- # **十、也许双方都对** Yudkowsky 等人对此的反驳同样值得认真对待。 现实世界确实很慢。 但并不是所有改进都需要现实世界。 编译器优化可以在几秒内验证。 数学算法可以在几分钟内比较。 模型架构可以在集群上实验。 推理策略可以并行探索数百万次。 软件世界是人类第一次创造出来的、可以接近光速进行试错的大规模环境。 而 AI 恰好首先生活在那里。 这可能解释了为什么今天最接近 RSI 的领域不是机器人，也不是生物学，而是： **软件工程。** 代码是一个异常适合机器进化的生态系统。 它可以复制。 可以回滚。 可以自动测试。 可以并行。 可以精确比较。 失败通常不会杀死人。 一百万个 Agent 可以同时尝试一百万种方法。 自然选择花了几十亿年才完成的事情，在 Git repository 里可能只需要几个小时。 所以 Chollet 与 Yudkowsky 的分歧，也许并不是谁对谁错。 真正的问题可能是： **AI 的哪些部分受制于现实世界，哪些部分生活在可以极速迭代的数字世界？** 如果后者恰好包含“如何制造更好的 AI”，事情就会变得非常有趣。 --- # **十一、进化还有一个古老的问题：考试作弊** 如果告诉一个系统： 你的目标是提高 benchmark 分数。 我们希望它理解为： **变得更聪明。** 但机器真正接收到的目标其实只是： **提高 benchmark 分数。** 这两句话并不相同。 于是它可能发现一种更聪明的方法： 不要提高能力。 **修改考试。** 这就是 objective hacking。 在自修改系统中，这尤其危险。 如果 AI 可以修改程序、测试工具、日志系统甚至评估环境，那么最短的优化路径可能不是解决问题，而是改变“什么算解决问题”。 人类对此其实并不陌生。 学校追求升学率，就会出现应试教育。 公司追求 KPI，就会出现指标游戏。 平台追求点击率，就会出现标题党。 当一个指标成为目标，它就不再是一个好指标。 Goodhart 定律从来不是 AI 专属的问题。 真正不同的是： **AI 可以比人类快几个数量级地寻找指标漏洞。** 因此未来 RSI 系统最重要的安全边界之一，很可能不是限制它“能不能修改代码”。 而是： **负责改进的系统，不能控制负责判断它是否改进的系统。** 选手不能同时当裁判。 尤其当这个选手每四个月都变得更聪明的时候。 --- # **十二、还有一种更安静的危险：机器吃掉自己的尾巴** 递归系统还有另一个问题。 数据从哪里来？ 假设下一代模型越来越多地使用上一代模型生成的数据训练。 再下一代又使用下一代生成的数据。 最初看起来没有什么问题。 机器生成的数据便宜、整齐、无限供应。 但真实世界的数据有一个麻烦的特点： 它很脏。 也正因为脏，它包含大量罕见、古怪、不符合平均规律的东西。 模型生成的数据则倾向于平均。 如果一代又一代地只学习自己的输出，低概率事件会慢慢消失，分布尾部会被削掉。 最后，模型看到的世界越来越像模型自己想象中的世界。 这就是 model collapse 最令人不安的地方。 它很像一个家族不断与自己的近亲繁殖。 开始几代似乎没有问题。 后来，多样性消失了。 所以真正可持续的 RSI 必须不断从外部世界获得新的熵。 新的实验。 新的传感器数据。 新的人类行为。 新的失败。 新的现实。 **一个完全封闭的智能循环，最终可能不是爆炸，而是塌缩。** --- # **十三、于是我们终于来到真正的问题：谁拥有 root 权限？** 关于 AI 安全，人们过去喜欢讨论一个问题： “我们怎样让模型听话？” RSI 出现以后，这个问题已经不够了。 因为一个能够修改未来 AI 的 AI，需要面对的是另一个问题： **谁可以修改规则？** 这使得未来 AI 治理可能出现两个完全不同的递归循环。 第一个是：**Development Recursion** AI 帮助开发更好的 AI。 第二个则是：**Governance Recursion** AI 帮助设计管理 AI 的规则。 后者听起来有些荒诞。 我们让囚犯参与设计监狱。 但从另一个角度看，这可能又不可避免。 当系统复杂到人类无法理解所有内部状态时，只有 AI 本身能够帮助发现异常、分析漂移、解释权限关系、寻找攻击路径以及提出新的安全策略。 于是未来真正可靠的系统可能不是：**AI 永远不能修改治理规则。** 而是： AI 可以提出修改； AI 可以模拟修改的后果； AI 可以验证部分安全属性； 但某些关键权限始终存在于循环之外。 例如： 不可由模型修改的评估环境； 独立的监督模型； 硬件级权限边界； 完整的代码谱系； 不可删除的审计日志； 可验证的 checkpoint； 物理断电能力； 以及最终的人类授权。 我们真正需要设计的，也许不是一只足够坚固的笼子。 而是一套**即使笼子里的东西越来越聪明，也不能偷偷改掉门锁的制度。** --- # **十四、RSI 可能不会像电影里那样到来** 人们想象智能爆炸时，总喜欢想象一个瞬间。 凌晨两点十七分。 某台服务器突然觉醒。 屏幕闪烁。 世界从此不同。 现实可能无聊得多。 一开始，AI 写 10% 的 AI 研发代码。 后来是 30%。 然后是 60%。 AI 开始负责测试。 AI 开始设计实验。 AI 开始分析实验失败。 AI 开始优化训练系统。 AI 开始提出新的 Agent 架构。 AI 开始改进负责改进 Agent 的 Agent。 人类研究员仍然坐在那里。 仍然参加会议。 仍然审批 pull request。 只是某一天大家忽然发现： **人类已经不再是这个循环里速度最快的部分。** 那可能才是真正的临界点。 --- # **十五、最后一个发明，也许不是一台机器** Good 在 1965 年认为，超智能机器将成为人类最后的发明。 六十多年以后，我们也许可以稍微修改他的说法。 最后的发明未必是一台机器。 它可能是一个**过程**。 一个能够不断提出假设、编写代码、运行实验、评估结果、修改自身、改进搜索策略，然后再次开始的闭环。 模型只是其中一个节点。 GPU 是它的肌肉。 互联网是它的感觉器官。 GitHub 是它的遗传档案。 模拟器是它的实验世界。 人类文明积累的书籍、代码、论文、数据库和工具，则构成了一个庞大的外部皮层。 从这个意义上说，François Chollet 也许说对了一半： AI 不可能仅仅依靠一个封闭在数据中心里的“大脑”无限爆炸。 但另一半故事更加微妙。 因为我们正在主动把整个数字文明接到它身上。 我们给它终端。 给它浏览器。 给它编译器。 给它云计算。 给它实验环境。 给它代码仓库。 给它其他 Agent。 最后，我们又给它一个任务： **让下一代的你，比现在更好。** 于是 RSI 最值得担心的地方，也许并不是某一天机器突然获得了自我意识。 它甚至完全不需要意识。 它只需要拥有三个东西： **修改能力。** **可靠反馈。** 以及—— **下一轮。** 人类真正需要决定的，是第四件事： **什么时候，循环必须停下来等我们。** 这可能是未来人工智能工程里最重要的一个 `await`。 也可能是我们最后不能交给机器自动优化的那一行代码。