Why AI Safety 深度访谈

访谈开头以 Ryan 的核心观点引入：如果 5 到 10 年内人类劳动开始被 AI 替代，人们应认真思考职业与生活如何服务于他人和社会。他认为 AI 安全领域严重低估创始人和组织建设者的价值，许多研究影响其实来自创建项目和新机构的人。即使不进入非营利领域，也存在大量可创造经济价值并产生社会影响的机会；不做研究的人同样能做高影响力工作。

主持人介绍 Ryan 的背景：他来自澳大利亚布里斯班，本科读物理，随后完成量子物理博士，并在 2021 至 2022 年进入 AI 安全领域，参加 SIRI fellowship，后来成为 MATS 项目的联合执行主任，在伯克利推动 AI 安全研究数量和质量的扩展。Ryan 解释，自己在博士期间接触有效利他主义，并逐渐意识到虽然热爱物理，但物理并不是自己能为世界带来最大影响的路径。

Ryan 回顾自己曾参与气候行动，也深入了解核战争风险、核冬天与平流层气溶胶等研究。在 Toby Ord 的《The Precipice》出版后，他迅速被其中关于 AI 风险的论证说服，认为 AI 安全值得更高关注。他相信自己具备从物理转向 AI 安全的技术能力，于是尝试申请不同项目和 fellowship，但早期可进入该领域的项目很少，他也未能进入牛津的 Future of Humanity 项目。

Ryan 讲述自己在 2021 年参加 EA Cambridge 首期 AI Safety Fundamentals 课程，并被 SIRI 从课程参与者中选中，加入由 Evan Hubinger 指导的线上阅读小组。之后他前往伯克利参加线下研究项目和相关工作坊，接触到许多 AI 安全、长期主义和生物安全领域建设者。正是在这一阶段，他发现当时的 AI 安全研究项目规模很小、缺乏扩展，而自己通过建设人才管线可能比作为个人研究者产生更大影响。

访谈转向 Ryan 的成长背景。他出生于美国马里兰，5 岁随家人搬到澳大利亚，并从 6 岁到 26 岁长期参与童军运动。童军中的“帮助他人”“尽力而为”“做好准备”“服务”等理念对他影响很深。他还强调母亲强烈的服务精神：母亲既是他的第一位童军领袖，也长期从事特殊需要教育工作。高中时期，朋友向他介绍《哈利波特与理性之道》，进一步鼓励了某种理性主义式思考。

Ryan 解释《哈利波特与理性之道》对他的影响并非主要在价值形成上，而是让他意识到还有一群人以相似方式思考。他认为其中最重要的概念是“英雄责任”，即不要默认问题会由别人解决，而是对自己能解决的事情承担责任。他也引用“宁静祷文”说明应区分无法改变、可以改变以及需要智慧判断的事情。该作品由 Eliezer Yudkowsky 撰写，篇幅很长，塑造了一个试图理解魔法物理并解决世界问题的天才哈利。

Ryan 谈到本科阶段曾经历抑郁和成绩下滑，离开家庭后需要处理延迟出现的适应与创伤恢复。他从高成就学生变成曾挂科的学生，完美主义受到打击，但后来逐渐恢复，并以一等荣誉完成学业，获得读博士的机会。离开不适合自己的住宿学院、与朋友同住、工作、亲密关系中的互相支持，以及成为科学家的长期愿望，都帮助他走出低谷。到博士开始时，他已能重新关注更广阔的问题，而有效利他主义成为他帮助世界的载体。

Ryan 回顾自己高中和大学时期已通过理性主义社区接触过 AI 风险论证，当时这些论证说得通，但感觉仍很遥远。他曾因想理解智能而考虑认知神经科学，后来因课程不合适转向物理和数学。多年后，《The Precipice》、GPT-2 和 GPT-3 让 AI 风险重新变得现实，其中 GPT-3 对他的冲击最大。结合他从气候行动中形成的判断——政府和文明体系往往难以处理长期、全球性灾难——他认为面对新兴 AI 风险，社会也未必会自然应对得很好。