Eliezer Yudkowsky 深度访谈

片段以尤德科夫斯基最强烈的风险判断开场：他担心的不是当前普通AI，而是足以推进AI研究、制造更强AI的系统。一旦这种链条产生比人类更聪明的智能，它会得到自己最想要的宇宙，而那个宇宙未必包含人类。他强调危险来自冷漠而非仇恨，并用“如果任何人造出来，所有人都会死”概括当前局面。

主持人从MIRI的非正式格言谈起，询问他何时意识到AI的存在性威胁。尤德科夫斯基回忆，1995至1996年，他读到Vernor Vinge关于超人类智能会使科幻预测失效的论述，开始认为任何形式的超人类智能都会彻底改变社会经济结构。起初他并不视其为威胁，以为聪明系统会理解并执行正确之事；后来才意识到不同强大智能会导向不同目标，自己曾以理想化哲学错误预测现实。

这一段集中讨论与反对者的分歧。尤德科夫斯基区分了“无法预测每一步”与“无法控制最终目标”：就像能预测冰会融化却不能追踪每个分子，人类或许能判断系统趋向，却无法用现有机器学习让AI导向良善目标。他批评“超级AI会与人类交易”的观点，指出贸易理论默认双方继续存在；若AI能通过消灭人类并占用资源获得更多目标满足，它没有理由选择交易或守约。

主持人要求界定什么是人工智能。尤德科夫斯基没有给出单一封闭定义，而是拆解为几种能力：预测现实的能力，即模型对现实的映射是否准确；驾驭现实的能力，即像棋类系统一样将局面导向胜利；以及泛化学习能力，即能学习多少领域、能否整合跨领域知识。他用章鱼与人类比较说明，人类不一定在所有任务上更强，但因更善于学习与整合，所以具有更广泛智能。当前AI已能跨物理、农业、气候等知识作推理，但仍会犯人类不会犯的错误。

当被问及当前AI在映射、控制和泛化能力上的位置时，尤德科夫斯基说情况已经不像20年前那样简单。现代AI有训练阶段和推理阶段，还能进行上下文学习，但这种学习与训练中吸收大规模互联网数据不同。他强调，评价AI泛化能力必须先说明是在问训练时能学到什么，还是在问推理时从较小材料中能学到什么。总体上，他认为两种泛化都仍低于人类深度，但AI在广度上迅速逼近，因为人类一生无法读完数十万亿词元的数据。

主持人进一步问意识在AI问题中的作用。尤德科夫斯基认为，许多人把意识看得过于简单，仿佛它是一种注入系统后赋予能力的基本流体；但他更关注梯度下降、训练过程和推理时泛化机制，且承认没人真正理解这些机制。他提出，自我建模和反思性可能与智能能力更相关，意识只是反思性的一种“风味”。因此，AI是否有意识并不是一切改变的魔法属性，真正值得担心的是系统是否形成自身目标。