AI is MUTATING 深度访谈

访谈以 Connor 对 AI 黑箱性的判断开场。他强调，人类既不真正理解大脑如何产生智能，也不理解大型神经网络内部如何运作。AI 系统像培养皿中的未知生命体，只有在训练完成后才知道它能做什么，工程师无法像传统工程那样预先精确预测结果。主持人进一步提出，即使 AI 不直接导致人类灭绝，也可能让人类失去作为主导物种的地位。Connor 认为更可能先发生的是人类某天醒来发现自己已经不再掌控局面，而不是立刻全部死亡。

主持人介绍 Connor 曾参与构建 LLM，并希望他解释这些系统为何不再只是工具。Connor 回顾自己从十几岁起进入 AI 领域的原因：他一直在思考如何最大程度帮助世界，发现无论是癌症、气候变化还是其他重大问题，背后都需要智能来解决。因此他认为，如果能自动化智能，就可能治愈疾病、解决各种人类难题。他在 2012、2013 年左右开始尝试构建当时可称为 AI 或 AGI 的系统，但也承认那时自己并不了解真正的技术细节，早期尝试并未成功。

Connor 将背景放在 2012、2013 年深度学习兴起的阶段，当时图像识别、AlphaGo 等突破让神经网络成为 AI 领域的新热点。这些技术与今天的 ChatGPT、图像生成系统有共同基础：都依赖神经网络和深度学习。与传统编程不同，神经网络不是由工程师逐行写出规则，而是通过大量数据训练出来，像是在数据上“生长”出能力。Connor 也指出，正是在看到强大 AI 可能治愈癌症等能力时，他开始意识到控制问题的重要性，而直到今天仍没人真正知道如何确保强大 AI 安全可控。

Connor 表示，他真正的震撼时刻发生在 2019 年 GPT-2 发布时。尽管从今天看 GPT-2 很原始，只能勉强串联句子，但它展现出与以往 AI 截然不同的性质。过去的系统大多脆弱且高度专用，例如围棋模型无法自然迁移到 Atari 游戏，必须重新设计网络、数据和训练流程。而 GPT 不同，它是通用模式学习器：随着数据和算力增加，它能自行学会拼写、句子、段落等能力，而不是由人类显式教会。Connor 因此认为这正是 AI 长期追求的关键部件，并投身开源 LLM 项目 EleutherAI，希望通过开放模型帮助理解和提升安全性。

主持人追问 Connor 何时意识到不能继续仅以程序员或黑客身份构建这些系统。Connor 回答称有两个关键时刻：先是对开源路径失望，后来则对纯技术工作本身失望。他回顾 EleutherAI 诞生时，学界和公众尚未认真看待 LLM，许多研究者认为它们只是虚假或无关紧要的东西，但他已确信这是 AI 史上的核心突破。他解释技术突破主要来自 Transformer：2017 年 Google 团队提出这种神经网络架构，之后的文本、图像、语音生成与 ChatGPT 基本都建立在这一基础上。

Connor 在解释 Transformer 前先强调一个核心事实：没有人真正理解神经网络如何工作。他把神经网络比作培养皿中的生物现象，人类知道一些细胞、DNA 的知识，但并不能任意操控生命系统；神经网络也类似。模型内部由数十亿甚至数万亿个数字组成，只要按正确顺序相乘相加，电脑就能说话，但这些数字究竟“意味着”什么，人类并不知道。他提到 Anthropic CEO Dario Amodei 曾说人类也许理解神经网络内部 3% 的机制，而 Connor 认为这仍是高估。随后他简述 Transformer 流程：词被转为数字，经注意力层、前馈层和归一化等处理，再转回词语。

主持人用自己从 AltaVista、Google 到 ChatGPT 的使用经历说明 AI 工具体验的变化。他回忆 Google 通过 PageRank 显著优于早期搜索引擎，而如今自己又逐渐用 ChatGPT、Gemini、Perplexity 等工具替代搜索。准备采访时，他会给模型提供嘉宾背景、已有采访内容、节目风格和个人偏好，再让不同模型整理最终问题。令他震惊的是，系统不仅能处理输入内容，还能结合它对主持人、播客和语境的理解，在几秒内输出高度相关的信息。他承认自己无法理解机器如何如此快速地完成复杂整合。

Connor 回应主持人的困惑，指出这不仅是普通用户的问题，也是科学界尚未解决的问题。他强调人类并不理解智能：我们无法仅通过观察大脑神经元就知道一个人在想什么、相信什么；同样，即便能写下神经网络全部数学公式和参数，也无法真正解释其内部知识和行为来源。他举例称，曾有实验让 AI 变得“迷恋”金门大桥，研究者找到与金门大桥相关的某些参数并将其放大，模型便频繁把话题引回金门大桥。这个实验有趣，但只能说明人类能局部干预模型，并不等于真正理解模型。