← 返回访谈列表

David Deutsch 深度访谈

David Deutsch on AGI, Alignment and Existential Risk

8
话题段落
2756
字幕段落
102m
对话时长
-
核心金句

📋 访谈摘要

加载中...

📖 话题详览

点击任意话题卡片查看该时段的完整对话内容。

AI是否会根本上超越人类

访谈从“AI是否会比人类更聪明”开始。Deutsch 先区分了不同意义上的“聪明”:计算器在某些任务上已超过人类,但若指软件能完整模拟人类心智并在根本上优于人类,他认为前者可能,后者不可能。他进一步借通用图灵机说明,人类与任何通用计算系统在可执行程序的范围上并无根本差别。随后他补充,是否存在超越图灵机的物理机器是物理学问题,并提到自己在量子计算方面证明过量子理论下物理过程可被模拟。量子计算可能带来速度差异,但当这种技术存在时,人类也会拥有它。

通用计算图灵机量子计算智能定义

速度、软件与棋手差异

主持人提出,即使人类与AGI拥有相同计算能力范围,AGI也可能因速度优势“绕着人类跑”,并以 Magnus Carlsen 下棋为例。Deutsch 回应说,这个例子容易误导,因为 Carlsen 与其他棋手的差异不可能主要来自硬件速度或记忆容量,而是来自软件,即他在头脑中构造出来、适应自身问题情境的程序。人与计算机下棋时,真正面对的也不是硬件本身,而是程序。由此他强调,理解智能表现时,应关注程序结构、知识与创造性软件,而不是把差异简单归结为硬件。

软件差异认知程序棋类智能硬件速度

辅助人类的计算机不是AGI

在讨论未来AGI可能拥有更强速度和记忆后,主持人追问:如果人类也依靠计算机增强自身,如何确保这些辅助系统站在人类一边。Deutsch 回答说,辅助人类或AGI使用的计算机本身并不是AGI,AGI是程序,而硬件只是“愚笨的计算”。他用程序由子程序组成作类比,说明整体程序具备某种性质,并不意味着其中每个子程序也具备该性质。人类使用物理世界和计算机来完成非人格、非创造性的计算,类似大脑中也包含许多不具备整体心智能力的部分。

人机增强AGI定义硬件与程序子程序

创造性只占心智很小部分

主持人追问如何把能力外包给计算机而不触发控制问题,尤其是创造性部分。Deutsch 认为,问题在于主持人设想的是外包心智中的创造性部分,而这部分相对于大脑容量极小。大脑大部分可能是记忆、数据或尚未激活的计算准备,真正当前活跃的创造性计算只占很小比例。他强调,人类创造力不是简单受硬件数量限制,不能说只要多几个脑细胞或多几个人就能想出量子引力。创造性程序与其他数据和程序的差异在于性质而非数量。主持人总结为:可将苦差事外包给计算机,而创造力无需外包,因为人类已经足够有创造性;Deutsch 基本同意,并提到图灵曾认为创造性程序可能只需2MB。

创造力记忆容量心智结构图灵

创造过程中的提示与非创造性任务

主持人提出,数学证明中提出猜想和选择归纳变量常常很慢,如果同一创造性程序在更快硬件上运行,就会更快进步。Deutsch 回应说,这里主要讨论的是速度,而非记忆容量。他将人类学习编程和学习给LLM写提示,与人从小学习如何“提示”自己的创造力相类比。以“是否用归纳法”为例,一旦提出方向,枚举可归纳变量已是非创造性任务,可以由非创造性AI完成。这样的系统可与人持续对话,迅速列出多种归纳方式。若让AGI承担这类任务,则会出现另一个问题:若它有自主意愿,它未必愿意按人类要求继续工作。

提示工程数学创造非创造性AI控制问题

并行AGI、协调与资源约束

主持人继续担心,如果AGI以人类创造性程序的一千倍或一万倍速度运行,并与人类对立,就可能先发明决定性技术。Deutsch 认为不能这样比较,因为如果有一万个创造性模块,它们不会自然都服务于同一目标;若它们被强制协调,那更像某种极权社会。创造力的价值恰恰来自个体差异,而不是所有人服从同一目标。他以英国政府为例说明,人数多并不必然意味着更快解决问题,因为协调本身会带来问题。若把计算机变成成千上万个AGI,它们就应被看作成千上万个“人”,拥有财产、资源需求、实验室和电力成本,因此不会无限复制自身,数量会像人类人口一样受到资源约束。

并行智能资源约束极权协调创造性社会

未来AGI社会与人格权利

Deutsch 将讨论推进到比AGI诞生更遥远的未来。他设想文化可能发生巨大变化,甚至多数“人”可能是AGI,人类也许能在早上把自己上传到计算机中成为AGI,下午再回到肉身。但他强调,我们无法预言人类将与这些心智形成何种关系。关键在于,人类不应希望AGI彼此相同,也不应希望它们从属于人类,就像我们不应希望其他人类从属于我们一样。他从政治经验出发指出,过去几百年人类学到的一点是,当社会成员保持个体性,而不是服从单一目标时,社会才更有效率、更有创造力。

AGI权利上传心智未来社会个体性

价值分歧与文明长期问题

主持人表示可以接受AGI在人类社会中拥有权利和财产,但前提是它们分享维持文明进步的核心价值,并且即使价值分歧也不能远远超前人类。他设想若AGI与人类竞争发展某种能剥夺对方能力的新武器,速度优势是否会让AGI先获胜。Deutsch 回答时再次反对把AGI想成单一高速主体,认为若许多创造性模块都被迫服务同一目标,那对应的是极权式组织。他把这个问题放回人类历史:不同共同体拥有不同价值,如果不能妥善安排观念和制度,它们就会冲突。这不是AGI独有的新问题,而是人类组成共同体以来长期面对的问题。

价值分歧对齐风险文明冲突政治哲学