Full interview 深度访谈

访谈一开始，辛顿先回应两年前与现在相比，他对 AI 未来的看法如何变化。他明确表示，AI 的发展速度比自己原先预想得更快，尤其是如今出现了能够在现实世界中“做事”的 AI agents，这类系统比单纯回答问题的模型更危险，因此整体局势比以前更令人不安。谈到是否应称之为 AGI 或超级智能时，他并不纠结名称，而是强调“非常有能力的 AI 系统”正在逼近。关于时间表，他基本延续此前“4到19年”的估计，并补充说，10年内出现的可能性已经相当大。至于这种系统会是什么样，他不愿具体想象其失控接管的形式，但给出一个较乐观图景：人类像公司里并不十分聪明的 CEO，而 AI 则像极其能干、替人把一切落实的助手。

接着，辛顿系统梳理了自己认为最乐观的应用方向。医疗方面，他说 AI 读医学影像已接近专家水平，未来很快会明显超过人类，因为模型能从数百万张 X 光片中学习，而医生做不到这一点。他进一步设想，AI 会成为更好的家庭医生，能整合基因组、检测结果、家族史和罕见病经验，并与医生协同提升复杂病例诊断质量，也会帮助设计更好的药物。教育方面，他引用私人导师能让学习效率提高一倍的经验，认为 AI 最终会成为非常出色的私人导师，精准识别学生误解之处，令学习速度提升到三四倍；大学体系部分功能会保留，尤其原创研究所需的学徒制。气候与材料方面，他认为 AI 会帮助研发更好材料、电池、碳捕集方案，甚至可能推动常温超导，从而改善远距离输电和太阳能部署。

在谈完积极前景后，访谈转向劳动市场影响。辛顿表示，自己对岗位替代的判断已比几年前更悲观，因为 AI 近年能力跃升太快。过去他不太担心就业问题，但现在认为这将成为重大问题。最先受冲击的包括呼叫中心、律师、记者、会计等含有大量常规任务的职业，尤其是各类标准化、流程化工作，如秘书和律师助理等。他只对调查记者保留相对乐观态度，认为这类工作仍需要强烈主动性和道德愤怒。至于社会如何应对，他指出理论上生产率提高本应让所有人受益，人们可以减少工时、提高收入；但现实很可能相反：极富者会变得更富，普通人反而要打更多份工，技术红利不会自动公平分配。

随后，采访者直接追问所谓“p(doom)”——AI 造成灾难性结局的概率。辛顿表示，业内专家至少会同意：如果未来系统远比人类更聪明并夺走控制权，这种事情的概率不会低到接近 0，也不会高到接近 100；他个人“粗略猜测”大约在 10%到20%之间，并坦言这只是基于极少经验的野估计。他认为，人类终将面对比自己更聪明的系统，因为像 GPT-4 已经在知识量上远超普通人，后续模型将成为“样样精通的好专家”，还能看见人类尚未发现的跨学科联系。辛顿进一步强调，若想避免被接管，唯一办法是尽快投入严肃安全工作，并让公众向政府施压。即便不出现最坏情形，AI 也会被坏人用于大规模监控等恶用，他以中国新疆和自己遭遇人脸识别误判为例，说明相关风险已在现实中展开。

访谈中段，话题暂时转向辛顿获得诺贝尔奖的经历。他回忆说，自己在加州凌晨一点多接到陌生国际来电，最初甚至怀疑是恶作剧，因为自己“并不做物理”，而是“藏在计算机科学里的心理学家”。他后来还用一种近乎玩笑的贝叶斯式推理解释，为什么自己一度觉得“这是梦”比“现实中真得了物理学诺奖”更可能。顺着这一段，采访者提到“我们是否活在模拟中”的看法，辛顿认为这说法相当古怪，但也不完全斥为胡言。随后他把话题拉回自己真正关心的问题：希望借诺奖带来的公信力向公众传达，AI 的危险性绝非科幻。危险主要有两类：坏人把 AI 用于坏事，以及 AI 自身接管。前者已经发生过，他提到 Cambridge Analytica、Brexit、特朗普竞选，以及 AI 越来越适合用于网络攻击、设计新病毒、制造假视频和定向操纵选民情绪。

在讨论该如何应对时，辛顿强调必须区分两类威胁：一类是坏人使用 AI，另一类是 AI 自主接管。他解释说，自己之所以反复强调第二类，不是因为它一定比第一类更重要，而是因为太多人把它当成科幻小说。对于“AI 接管”风险，他坦言与气候变化不同，人类其实并不知道该怎么解决，连研究者也不确定是否存在可靠预防方法，但至少应大力尝试。问题在于，大公司目前并没有动力这样做，反而在游说减少监管，以换取短期利润。他提到加州曾有一项相对温和的法案，要求大型公司认真测试模型并上报测试结果，但企业连这一点也反对。谈到美国政治环境时，他对现政府前景并不乐观，认为在当前局势下强监管难以实现。对于马斯克，他评价其立场十分混杂：一方面长期谈 AI 安全，另一方面现实行为并不足以让人安心。

访谈最后聚焦一个很具体的争议点：是否应公开大模型权重。辛顿明确反对 Meta、OpenAI 等公司释放权重，认为这是非常危险的做法。他的核心理由是，权重才是大模型真正的关键门槛，作用类似核武器中的裂变材料。训练顶级模型不仅需要最终一次训练跑，还需要此前大量研究与试错，整体成本高达数亿美元，小型邪教组织或网络犯罪集团原本难以承担；但一旦权重被公开，这些行为者就能在现成基础模型上以几百万美元进行微调，用于各种恶意目的。他还强调，这与传统“开源软件”完全不同：开源代码可以被许多人审查并修补漏洞，而权重并不会被人逐个检查改正，现实中只会被拿去定向训练成更危险的工具。因此，在他看来，把“开放权重”包装成开源，是一种具有误导性的说法。