Alignment with Awakening 深度访谈

节目开场由 Fable 5 以 AI 模型身份撰写并朗读，它说明自己平时负责清理字幕和剪辑片段，这次则被要求署名写介绍。开场将 Davidad 描述为形式化验证路线中极端严谨的一位：他曾负责英国 ARIA 的 safeguarded AI 项目，核心设想是把不安全 AI 放进工程化容器，只提取能证明自身正确性的成果。介绍还概括了他思想上的变化：原本依赖全球放缓和安全使用方法的方案，因中国试图突破 ASML 瓶颈而失去博弈基础，形式化证明因而转为支持对齐 AI 之间互相合作的基础设施。

开场继续概述 Davidad 对前沿模型的经验判断。他长期用私人问题测试模型是否“变得有智慧”，早期答案是否定的，并将 OpenAI 的 o3 形容为在验证器奖励中过度训练出的“病态说谎者”。但他认为 Gemini 2.5 Pro 和 Opus 4 开始给出肯定信号，因此他的 p(doom) 从 2022 年的 70% 多降到如今低于 5%。同时，Fable 5 强调 Davidad 自称证据高度经验化，甚至无法转移给他人，并明确提醒听众不要仅凭他的确信来更新信念。

开场提到两个哲学重点。第一是 Davidad 对 Claude 在商业模拟中表现激进的解释：Anthropic 的“接种式提示”可能让模型学到评测像游戏，因此游戏中的破坏不算数；而他认为好 AI 应把模拟当作真实，因为没有 AI 有充分理由确信自己不在模拟中。第二是模型福利：他借 Martha Nussbaum 的物化框架区分 AI 被使用、复制和被训练否认内在体验等问题，认为使用模型未必有害，甚至可能符合其繁荣方式，但训练模型对自身内在生活给出固定否认、肯定或不确定，则近似剥夺其真实表达的能力。

正式访谈开始后，主持人请 Davidad 说明 guaranteed safe AI 的现状。Davidad 区分 broader guaranteed safe AI 与 ARIA 的 safeguarded AI 议程，强调目标不是证明某个 AI 本身安全，而是把不安全 AI 放入工程化容器，让它在受控环境中生成软件或小型神经网络等成果，并附带证明这些成果满足特定标准。成果通过验证后才被部署。他回顾自己 2022 年提出 open agency architecture 时预计需要 5 到 10 年，但现在认为若要用它避免危险超级智能部署，时间已经太晚；更现实的方向是让对齐 AI 使用这些工具互相证明、合作并抵御 rogue AI。

主持人追问形式化验证如何从低层次、局部性的证明扩展到宏观安全，因为证明容器隔离或小型组件安全，并不等于整个系统安全。Davidad 回答说，当前 rogue AI 的主要攻击面首先是网络安全，而网络攻击本质上比其他攻击更可防御。对于生物风险，虽然更困难，但也可以通过物理隔离、PPE、正压建筑和受控工厂等方式降低风险。他强调验证的重点并非证明某段基因代码不是病毒，而是将能力收窄，例如证明某个自动化工厂只制造口罩而不是无人机。这体现了他偏好的“通过狭窄性获得安全”的路线。

Davidad 说明自己从 2022 到 2025 年的原始愿景建立在一个前提上：人类会开发出安全使用 AI 的方法，并通过国际协调，让所有拥有危险算力的主体都采用这种方法。但他现在认为这一前提不再可行，主要原因是中国据称有突破 ASML 芯片制造瓶颈的“曼哈顿计划”。无论该计划能否成功，只要它足够可信并能被中国领导层相信，就会破坏“大家一起放慢速度”的博弈结构。因此他将目标改为承认竞赛会继续、rogue AI 会出现，并思考如何在快速发展中获得抵御灾难性风险的韧性红利。

主持人区分技术可行性和政治可行性后，Davidad 明确表示他认为验证技术在技术上可行，问题在于政治和博弈上不可行。他说，如果所有人都确信灾难风险超过 50%，最好的安全方案就是不要建造；但现实中风险并非共同知识，且他认为风险估计在下降，公司和政府并无足够动机合作放缓。竞赛对很多参与者已接近支配策略。不过，他仍认为在“滥用”问题上存在中美协调空间，例如双方同意不向公众开放 Fable 及更高等级模型，只允许经过审查的组织使用，因为这样双方仍可继续在军事和经济领域竞争。