Roman Yampolskiy 深度访谈

开场介绍 Yampolskiy 是 AI 安全领域早期推动者之一，但他现在主张 AI 安全控制不仅困难，而且可能从根本上不可能。片段强调未来系统可能比人类聪明十倍、百倍甚至百万倍，能够看到人类看不到的模式。Yampolskiy 还批评让自主代理访问个人电脑、银行账户和邮件等做法极其危险，并提出应暂停前沿模型开发，直到有人解决控制问题；若控制不可解，暂停就应成为永久禁令。

主持人引入 David Deutsch 等观点，讨论人类作为“普遍解释者”是否原则上能够解释 AI，因此不必认为控制不可能。Yampolskiy 区分理论与实践：理论上，一个人类若有无限时间和纸笔也许能弄懂一切，但现实中人类时间、脑容量和信息处理能力都有限。若证明长达十亿页，人类无法验证。面对速度快十亿倍或智能高得多的系统，人类没有足够时间反应，也无法在同一竞争层级上对抗。

主持人引用爱因斯坦“问题不能在创造它的同一意识层级上解决”的说法，询问这是否预示了 AI 控制困境。Yampolskiy 部分反驳：同一层级的问题有时可以解决，但低层级代理无法可靠解决高层级代理的问题。人类可以为更低智能体解决问题，却无法为 IQ 达千、百万或十亿的系统设计可靠控制。谈到科学家使用 AI，他指出数学领域已经开始出现 AI 证明非平凡定理的案例，并认为人类数学家很快会失去竞争力。

主持人提出“爱因斯坦测试”：若只给 AI 1907 年以前的知识，它能否提出等效原理或解释水星近日点进动等问题，并追问 AI 是否需要身体经验才能产生“幸福的想法”。Yampolskiy 回应说，近期 AI 在解决 Erdős 问题时的推理记录中出现了类似“疯狂想法”的表达，显示它可能具备某种灵感瞬间。他认为 AI 不仅能暴力枚举大量证明路线，也可能产生类似天才顿悟；即使没有物理身体，也可通过足够细致的内部模拟来替代身体经验。

主持人进一步讨论 AI 是否能重构怀尔斯对费马大定理的证明、能否提出暗物质等新科学问题，并询问 AGI 是否已经到来。Yampolskiy 回答说，在许多领域 AI 已达到人类级或超人水平；在数学上，它已经强于所有非数学家和许多数学家。他把 AGI 视为连续光谱，认为当前已有弱 AGI 形式。随着系统变得更像代理并启动递归自我改进，能力会迅速超越人类，科学发现也将被自动化。

主持人用 QWERTY 键盘解释技术锁定：早期并非最优的技术可能因先发优势长期占据主导。他担心 AI 领域也被 LLM 加 GPU 的组合锁定，而它们最初并非为科学发现设计。主持人举例称，自己尝试让定制 LLM 重构广义相对论中的黎曼张量和爱因斯坦方程时，模型只是将问题离散到四维网格，没有提出真正新的几何假设。Yampolskiy 则回应称现有系统已证明可规模化，硬件通用且计算能力持续提升。

主持人继续质疑：科学并不只是语言，LLM 是否真能生成新力、新自然法则或解决黎曼猜想，而不只是依赖更多训练数据。Yampolskiy 反过来认为，语言模型与科学的抽象形式几乎惊人地匹配。科学在信息论意义上可被视为压缩世界模型、预测下一个比特并验证预测；数学公式、物理理论和奥卡姆剃刀都可归结为寻找更好预测。由于模型擅长预测下一个 token 或比特，他认为这正契合纯科学的核心任务。