The Uncomfortable Truth 深度访谈

访谈开场直接点出核心分歧：主持人提到许多业内人士曾被 ChatGPT 的表现震撼，而 Gary Marcus 表示自己并不意外。他认为，随着数据规模扩大，模型在模仿人类用词方式方面自然会变好，但这只是对语言使用的近似，并不等于走向人工通用智能。随后主持人介绍 Marcus 的背景，包括其科学家、企业家、畅销书作者、纽约大学荣休教授及 AI 创业经历，并说明本场将讨论人工智能、心智以及数字化世界中的人类未来。

主持人以四个是非问题开启正式讨论，首先询问更多数据和算力的规模化路线是否正在接近渐近线。Marcus 回答说，行业实际上已经在远离纯规模化，只是不愿公开承认，因为规模化叙事带来巨大商业利益。他指出，近两年的许多进展并非来自单纯扩大 LLM，而是来自所谓“harness”的外部系统，包括循环、条件语句、Python 解释器等经典 AI 或符号式 AI 工具。随后他也明确表示，人类倾向于过度赋予外界智能和能动性，这会影响人们看待 LLM；而把当前 LLM 说成有自我意识或意识，在他看来是荒谬的。

Marcus 回顾自己进入计算机和人工智能领域的早期经历。他十岁时接触纸上计算机，并在同一天开始以科普方式向他人解释计算机原理。高中时期，他编写了一个拉丁文到英文的翻译器，这帮助他提前进入大学，也让他初步理解 AI 技术。然而，这段经历也使他第一次对 AI 失望，因为他发现当时系统更像一堆技巧拼凑，缺乏深层理解。于是他转向认知科学，关注心理学、语言学、哲学和计算机科学之间的交叉，并在汉普郡学院接受跨学科训练。

Marcus 解释自己为何在 2010 年左右重新关注 AI：IBM Watson 在《危险边缘》中获胜让他感到意外。他原本认为，要赢得该节目需要语言理解和推理能力，远比下棋计算机复杂，因此预测 Watson 会输。后来他认识了项目负责人 David Ferrucci，了解到 Watson 成功的关键并不是全面理解语言，而是利用《危险边缘》答案大多对应 Wikipedia 页面标题这一结构性事实。Marcus 强调这仍是出色工程，但它更多是针对任务结构的巧妙设计，而不是通用理解的证明。

Marcus 进一步回顾自己的博士研究，该研究比较早期神经网络与儿童语言学习。他与 Steven Pinker 合作研究儿童如何学习英语过去式，尤其关注儿童说出 breaked、goed 这类过度规则化错误。他通过对亲子语料的大规模分析发现，儿童其实在绝大多数情况下是正确的，人们往往只注意错误而忽略正确用法。与此相比，神经网络虽然也会产生类似过度泛化现象，但其机制高度依赖相似性，而儿童和成人可以在缺少相似样本的情况下使用抽象规则，例如对新词自由添加 -ed。

Marcus 将早期研究总结为插值与外推的区别。他指出，神经网络可以记忆训练集，也能在训练数据形成的“点云”内部表现不错，但一旦进入训练分布之外就容易崩溃。他用二进制数字的恒等函数实验说明，模型可以正确处理训练过的奇数及相近样本，却在偶数这类分布外输入上失败。这些结果促成了他 2001 年的《代数心智》一书，核心观点是人类似乎拥有某种心智代数，能够进行抽象和变量化操作，而这类能力不是传统神经网络擅长的。

Marcus 讲到神经网络在 2000 到 2010 年间曾一度沉寂，只有少数研究者继续推进。GPU 的出现成为关键转折，使研究者能够用更多数据训练更大的模型，神经网络因此重新流行。他在 2012 年深度学习受到媒体关注时即发表文章指出，这些技术会很有用，但在抽象、形式推理等方面仍存在根本问题。他认为，如果要构建真正强大的 AI，神经网络需要与符号机制结合。这一立场也构成了他与纯规模化路线之间长期争论的基础。

主持人追问，既然规模化路线存在明显问题，为什么许多聪明的业内人士仍相信更多数据、更多算力和更大数据中心就足够。Marcus 给出多重解释：一些人缺乏对分布和泛化问题的深入理解；一些商业领袖技术能力有限但善于销售愿景；更重要的是，规模化故事非常适合融资。风险投资和企业估值都能从“只要继续投入就会成功”的叙事中获益，即便最终失败，中间环节也已经赚取费用。他还批评这是一种天真的外推，就像把婴儿早期体重增长错误推算到成年一样。