Understanding AI "Understanding" 深度访谈

节目开头介绍 Cognitive Revolution 的宗旨，即采访 AI 前沿研究者、创业者和建设者，讨论 AI 将如何改变工作、生活与社会。本期是与 Robert Wright 的 Nonzero Newsletter and Podcast 的跨播节目，起因是 Nathan 近期与 Martin Casado 关于 AI 能力增长的辩论。Nathan 概述本次访谈将覆盖大语言模型是否具备理解、多模态系统与世界建模、AI 推理能力、科学发现加速、Anthropic 的可解释性研究、AI 对人类价值的理解、是否暂停 AI 开发、新架构以及强大模型开源等议题。

Nathan 在正式访谈前特别说明，关于 AI 与中美关系、开源模型和国际军备竞赛，他并不是政策或地缘政治专家。他对“我们是好人，因此应由我们率先开发变革性 AI”的说法保持本能怀疑，不论“我们”指的是领先 AI 公司、西方国家还是其他集团。他强调，在接近变革性 AI 且具有明显军事用途的背景下，主要大国之间紧张关系升级值得持续质疑。同时他承认，各种政策方向都有有力论点，目前没有真正安全的前进道路，因此自己的立场仍会继续演化。

正式对话开始后，Robert Wright 介绍自己和 Nathan 的背景：Nathan 是企业家，也主持 Cognitive Revolution，并创办了使用 AI 帮助企业制定视频营销方案的公司。Wright 表示，Nathan 的播客对他很有价值，但讨论层级较高，经常面向创业者、AI 工程师和研究人员，因此普通听众理解起来有门槛。他希望通过提出一些基础问题，把对话拉到“普通人也能理解”的层次。Nathan 回应说，自己做播客的目标是进行真正想要进行的 AI 讨论，不把它定位为娱乐，而是面向想学习和理解的人。

Wright 说明本次讨论受到 Nathan 与 Martin Casado 对话的启发。Casado 认为 AI 不如外界描述得那样强大，发展也没有很多人说得那么快，因此不应过度监管或暂停发展。这个观点引出更深的问题：AI 内部机制是否在某种宽泛意义上类似人脑，以及机器能否拥有可称为“理解”的东西。Nathan 回应说，自己欣赏那次对话体现了不同 AI 世界观之间的友好、建设性交流。他强调，包括 DeepMind、Anthropic 和 OpenAI 领导层在内，许多前沿人士都承认对系统内部机制、能力增长速度和后果仍高度不确定。政策讨论前，需要先厘清“事实是什么”。

Wright 转向核心哲学与技术问题：Casado 在质疑当前 AI 能力时，有时听起来像是在说模型只是“随机鹦鹉”或“高级自动补全”。也就是说，模型只是根据输入符号的统计结构预测下一个词或句子，并没有真正理解。Wright 进一步指出，讨论机器是否能拥有理解，不能只局限于狭义的大语言模型或人类语言处理，还必须考虑多模态系统，包括音频、视频、触觉等输入。他试图确认 Nathan 是否也认为 Casado 的部分论证接近“只是预测平均人下一步会说什么”的观点。

Nathan 回应说，Casado 的立场有时接近“只是自动补全”，但也有时给予当前系统更多承认。随后两人讨论 Anthropic 的 Golden Gate Claude 实验。Wright 解释说，Anthropic 通过调整模型，让它对金门大桥异常着迷，无论用户问什么都会把回答牵扯到金门大桥。Nathan 强调，这个实验的重要性在于研究者必须先理解模型如何在内部表征“金门大桥”这一概念，才能把该概念以人工方式注入并可靠改变行为。他认为这表明黑箱并非完全不可打开，可解释性研究能在一定程度上定位模型内部概念，并用工程方式验证其对行为的影响。

广告后，Nathan 继续解释 Golden Gate Bridge 只是 Anthropic 通过稀疏自编码器技术分离出的上千万个特征之一。他开始以较技术化但面向普通听众的方式说明 Transformer 架构：它是近年推动 AI 进展的主流架构，但并不一定是最终形态。Transformer 由多层组成，每层包含注意力机制、多层感知机和非线性激活函数。层与层之间有一个相对较小的数值数组，用来承载截至该步的全部计算结果。由于世界中的概念远多于数组维度，模型必须把大量概念高度压缩、密集地编码在有限空间中，因此可解释性研究的挑战就是解开这种交织的多义表征。