I lead AGI 深度访谈

主持人 Rob Wiblin 介绍 Rohin Shah 是 Google DeepMind 的 AGI 对齐与安全负责人，并指出他是早期进入 AGI 对齐和安全领域、且如今具有较大影响力的人物之一。Rohin 回应说，主持人的介绍很慷慨，同时明确强调，本次访谈中的观点只代表他个人，并不代表 Google 或 Google DeepMind 的官方立场。这为后续较为直率、带有个人判断色彩的讨论设定了边界。

Rob 提出，Rohin 很早就参与 AI/AGI 安全问题，却认为灾难性错位大概率不会发生，普通的、渐进式的对齐技术也许足以避免最严重后果。Rohin 回答说，他的乐观并非来自单一理由，而是因为他没有看到足够有力的论证能说明灾难性错位会默认发生。他承认现有论证能说明风险是可信且值得严肃投入的，但在他看来，它们更多证明“可能发生”，而不是证明“很可能发生”。

Rob 概括了几类常见担忧：Yudkowsky 式错泛化和对抗样本论证，Cotra 与 Carlsmith 关于错误反馈训练出欺骗性 AI 的论证，以及当前模型撒谎、策划和奖励黑客的经验案例。Rohin 认为，这些现象确实可能发生，甚至某些短期欺骗可能相当容易出现，但训练通常不会围绕一年尺度的轨迹，而更可能是周、月级任务。因此模型学到的更可能是短期奖励寻求，而非足以驱动接管世界的宏大错位目标。他还认为当前所谓策划案例常像角色扮演或模糊的工具性行为，距离真正可怕的能力型错位系统仍有差距。

当被问及其他认为灾难性错位很可能发生的理由时，Rohin 简短回应了 Eliezer Yudkowsky 的世界观。他认为那是一套很深的观点体系，难以在访谈中逐点交锋；他接受它说明错位目标具有可能性，但不认为它成功推出极高概率。Rohin 随后补充了乐观的另一来源：许多底层问题会在系统真正具备接管能力之前显现，例如监督困难、解释性需求等。虽然从“无力接管”到“有力接管”的跨越需要泛化，并且 AI 可能隐藏行为，但他认为提前观察、研究和迭代缓解措施仍很重要。

Rob 提到，很多乐观者看到当前模型听话、可引导、乐于助人，因此认为安全形势不错。Rohin 表示，这并不是让他乐观的主要原因。他最初担忧错位，是因为未来超人系统可能难以被人类监督：它们的论证可能超出人类理解，思维方式可能变得陌生，人类可能不得不依赖其他 AI 来检查它们。当前系统能力尚未达到这些情境，因此现有对齐方法在当前模型上的成功，对未来更难问题的证明力有限。

访谈转向 AI 公司在公众或政治压力下作出安全和对齐承诺的问题。Rohin 首先界定“承诺”：公司写下某种未来将持续采取的行动，并表示不会改变主意。他反对这种做法的核心理由是，AI 安全研究持续变化，最佳行动也会随时间改变，因此不应把自己绑死在某个方案上。他举例说，几年前有人主张在预训练中加入大量对齐研究数据，以提升模型帮助安全研究的能力；而现在更常见的观点反而是过滤这些数据，以避免模型学到恶意 AI 人格或提前掌握规避安全措施的方法。

Rob 指出，承诺也可能有其他功能：抵御未来诱惑、向外部传递可协调信息、缓解竞赛压力，或让外部社会对公司施压。Rohin 的主要反驳是，这类承诺在现实中往往不会真正奏效。如果公司未来想摆脱承诺，通常可以通过修改措辞、调整政策版本等方式做到。他以 Anthropic 的 Responsible Scaling Policy 为例，称早期版本使用较强的“commit”语言，而后续版本弱化了这种说法。相比之下，他认为 Google 的 Frontier Safety Framework 虽被批评不够强，但更真实反映了公司未来会做什么，因此反而更可信。

面对外部人士不信任 AI 公司自我约束的问题，Rohin 推荐第三方审计和第三方评估者获得合理访问权限，审查公司实践并发布经过适当删减的报告。他强调 AI 安全需要高度细节和语境理解，因此少数专家长期深入查看材料、定义评估、积累事实，比笼统口号更有价值。他特别提到 AI Lab Watch 这类安全记分卡，称其由 Zach Stein-Perlman 细读治理文件、模型卡和安全报告后形成判断。若这类记分卡更稳健并被公司和社区认可，可能促成公司围绕安全声誉展开“向上竞争”。