Why Can't AI Make Its Own Discoveries? 深度访谈

主持人从“AI已经记住几乎全部人类知识，却没有产生新科学发现”切入，追问为什么它不像一个记忆力极强的人那样发现医学、物理或其他领域的新联系。LeCun 回答说，如果说广义AI，未来可以期待；但就当前大型神经网络和聊天机器人而言，答案是否定的。它们主要基于文本训练，学习的是如何按训练语料的统计规律生成看似合适的回答，因此擅长检索和复述，也会产生幻觉，但在纯粹形态下不能真正发明新事物。

主持人引用 Hugging Face 的 Thomas Wolf 关于“在数据中心创造爱因斯坦”的观点：真正的智能不仅知道答案，还要能提出没人敢问的问题。LeCun 明确表示，当前LLM无法做到这一点，未来能做到的AI也不会只是LLM，最多把LLM作为把抽象思想转成语言的组件。他用人脑类比说明，人并不是用语言思考，而是用情境的心理表征和世界模型思考。研究中最难的不是解题，而是提出正确问题、重新框定问题并形成洞见；LLM擅长的是记忆和检索，而非发现新问题或新解法。

主持人追问，能否通过给推理模型加入“质疑指令”来产生反直觉或异端思考。LeCun 认为首先要澄清什么是推理。他指出当前做法大多是在LLM范式上添加组件，例如链式思维让模型生成更多token，希望借此投入更多计算。这样有时有效，但非常有限。经典AI意义上的推理通常需要在可能解空间中搜索，并用某种标准判断解是否满足约束。LLM内部没有这种搜索机制，只能外接生成大量候选答案再筛选，类似随机写程序再测试，效率低，也不符合人类和动物在抽象连续空间中操纵心理模型的内部推理方式。

主持人把话题转向“训练标准LLM是否正在撞墙”。LeCun 不一定称之为墙，但明确认为已经出现边际收益递减：自然文本数据基本用尽，模型已在约10的13到10的14次方token上训练，覆盖了公开互联网和部分授权内容。业界尝试用合成数据、雇人补数据或让专家生成内容来继续扩展，但成本快速膨胀，收益并不相称。他认为很多系统连基础逻辑都没有真正理解，靠补数据只能缓慢推进。要让智能体真正工作，核心需要能搜索好解、判断解是否有效，并规划达到目标的一系列行动。

LeCun 进一步解释新范式的核心挑战：系统要能在没有被训练过的情况下解决新问题。人类和动物面对新情境时，可以零样本处理，或通过极少经验快速学会。例如人学开车只需几十小时，开始时需要高度集中并调用“系统二”，熟练后则转为近似自动化的“系统一”。他用国际象棋大师同时对弈的例子说明，熟练任务会内化为潜意识能力。但关键仍在于，当面对新的、不熟悉的状况时，人能够基于对世界如何运作的常识，思考并规划行动路径；这正是当前AI系统缺失的能力。

主持人把技术瓶颈与资本投入联系起来，指出 OpenAI、Anthropic、xAI 等公司获得巨额融资，而这些公司大多仍以LLM为核心。如果LLM已经边际递减且需要新范式，当前投资是否存在时间表问题。LeCun 回应说，他们对新范式已有一些想法，但让它真正工作可能需要数年。他明确表示，单纯扩大LLM不可能达到人类级AI，未来两年内也绝不可能出现所谓“数据中心里的天才国家”。最多会出现知识覆盖极大的系统，让用户感觉像身边有博士，但那只是巨大记忆和检索能力，不是能发明新解法的博士。