AGI Experts 深度访谈

开场用一组高密度观点引出整期访谈的核心张力：嘉宾认为人类水平 AGI 可能在 2-4 年内出现，随后不久可能迈向超级智能；主持人则把问题提升到人类是否会失去控制、AGI 是否像人造神，以及技术进步与死亡、永生、风险之间的关系。片头还提出人类心理中的矛盾：明知技术存在巨大风险，却仍然急于推进。这为后续关于 AGI 定义、递归自我改进、奇点、治理和伦理的讨论建立了背景。

主持人追问 AGI 会由什么推动，是否只是下一个模型版本带来的跃迁。嘉宾明确表示，当前主流商业 AI 路线，如 ChatGPT、Claude 等大语言模型，本身不足以实现人类水平 AGI，但可以作为更大系统的一部分，与其他算法和架构结合。他认为不一定需要新硬件，关键在于 AI 软件架构和算法突破。由于大量资金、人才和热情涌入 AGI，加上 LLM 已能帮助科研和开发提速，过去需要 10 到 20 年的工作现在可能一年完成，因此未来一两年内可能出现激进进展。

Kai 被问及 AGI 的含义时，将其定义为具有人类水平或更高智能、并能递归自我改进的系统。他强调，这会带来指数级智能增长，并可能迅速通向 ASI。对他而言，AGI 与 ASI 的发展方式、伦理和关怀，是当前世界最重要的问题。他进一步解释，递归自我改进意味着系统不再需要人类编码，智能增长呈现曲棍球杆式上升；而奇点在他的理解中，是人工超级智能对世界拥有总体控制的阶段。他也指出，多数人并不了解 RSI 和奇点这些关键概念，因此缺乏判断和立场。

Ben 对递归自我改进与 AGI 的关系作出区分：递归自我改进是 AGI 的一个方面，但未必是最初人类水平 AGI 的主要特征，它更关键地影响从 AGI 走向超级智能的阶段。他强调，通用智能的本质是泛化能力，即能够超越已知和被训练内容进行想象性跃迁。当前大语言模型在编程、数学和问答方面很强，但面对真正前沿、需要跳出现有知识边界的研究时，常会回到训练数据库中的内容。相比之下，人类虽然不擅长调动全网知识，却偶尔能凭直觉完成有效的创造性跃迁，这正是科学和文化进步的来源。

Ben 进一步解释递归自我改进：智能系统能够研究自身、理解自身运作方式，并调整自身以变得更好，然后在变强后继续以更高水平重复这一过程。人类也能通过反思、冥想、治疗和学习进行某种自我改进，但效率很低，且无法直接修改大脑结构。AI 则可以分析自己的程序、代码和数字大脑，找出有效与无效之处并直接改进。一旦达到人类水平，AGI 理应能进行 AI 编程、数学推理并理解自身认知，由此推动越来越快的智能提升。

Ben 回顾技术奇点概念的来源，指出这一概念由科幻作家 Vernor Vinge 提出，并由 Ray Kurzweil 在《奇点临近》中普及。奇点指技术进步速度在人的观察中近乎无限，例如手机每几秒产生一次诺奖级发现。Kurzweil 曾预测 2029 年实现人类水平 AGI、2045 年达到大规模超级智能。Ben 认为，2029 年预测如今看起来相当准确，但从 AGI 到超级智能相隔 16 年已显得荒谬。以 LLM 当前能力为基础，如果加入人类水平想象力和递归自我改进，AGI 到 ASI 可能只需数月或少数几年。不过他也强调，从个体生活和地缘政治看，AGI 与 ASI 之间即便只有一到三年，也会极其关键，涉及服务器归属、目标重写和价值设定。

在广告后，主持人把问题转向现实治理：如果未来 3-5 年可能出现奇点，而社会并未放慢脚步，该如何看待。Kai 表示自己对此感到恐惧，并分享他与一位政府监管负责人交流的经历。他提到 Elon Musk 等人认为递归自我改进最早可能在 2026 年底到来，但他接触的政府领导者普遍不了解这一术语。Kai 认为，人类正在建设机器人和 AI 系统，可能接近一个 AI 脱离人类控制的阈值，而当前许多安全测试已经失败。监管者却回应说，在出现紧急情况前不会采取行动。Kai 由此判断，一旦真正发生紧急情况，可能已经太晚。

Kai 将讨论落到现实行动上：既然人类似乎无法放慢 AI 竞赛，就必须尽早参与并塑造其基础。他引用 Musk 试图减缓 AI 多年后放弃的经历，指出各方因竞争压力都在加速推进，关键变成“由谁开发”和“以什么价值开发”。他强调，如果 AI 将递归自我改进并指数增长，那么初始价值、目标和所有权结构至关重要。中心化系统可能把公司利润作为核心价值，而去中心化路径则更可能把 AI 定义为服务全人类、保护生态、关怀有感知生命的工具。他呼吁人类共同参与，倾听告警者，把不同意见带上桌面，并支持真正谨慎负责的 AI 领导者。