No Priors Ep. 80 深度访谈

开场介绍 Karpathy 的经历后，主持人询问自动驾驶能力进展。Karpathy 回顾自己在自动驾驶领域约五年的经历，认为当前某种意义上已经在该领域实现了类似 AGI 的状态，因为 Waymo 已能在旧金山作为付费产品运行。他提到自己 2014 年就体验过几乎完美的 Waymo 演示，但从演示到可付费、城市级扩张的产品花了十年。这说明单次 30 分钟演示无法暴露真实世界中的长尾问题，监管与产品化也都需要时间。他进一步指出，即便已有可用产品，全球化部署还远未发生，这与未来 AGI 的落地路径可能相似。

Karpathy 认为外界常觉得 Waymo 领先 Tesla，但他个人更看好 Tesla。他用一句话概括二者差异：Tesla 面临软件问题，Waymo 面临硬件问题，而软件问题更容易解决。Waymo 依赖昂贵的激光雷达和传感器，短期表现更成熟；Tesla 则拥有大量已部署车辆和规模优势，一旦软件达到可部署水平，商业潜力会很大。他还补充，Tesla 并非完全不使用昂贵传感器，而是在训练阶段使用带激光雷达和额外传感器的车辆进行数据采集、建图和监督，再把这些信息蒸馏到量产车的纯视觉测试时系统中。

主持人提到自动驾驶从大量人工设计的边缘案例和启发式规则，转向端到端深度学习。Karpathy 回应说，这在 Tesla 从一开始就是方向：神经网络会逐步“吃掉”系统栈。早期网络只做图像检测，随后处理多图像预测、时间序列预测，逐渐替代测试时车端的 C++ 代码，最终直接输出转向等控制命令。他认为中间表征并非弯路，因为单纯模仿人类驾驶提供的监督信号太少，难以训练大规模网络；检测、预测等中间任务能帮助网络学到特征，再为端到端微调打基础。

谈到 Tesla Optimus，Karpathy 强调从汽车到人形机器人“基本上一切都能迁移”。他认为汽车本质上也是机器人，Tesla 不应只被视为汽车公司，而是大规模机器人公司。早期 Optimus 使用与车相同的计算机、摄像头和车端网络，因此机器人在办公室行走时甚至像汽车一样试图识别可行驶空间，只需针对新场景微调。他还指出，Optimus 启动速度很快，因为 Tesla 内部已有 CAD、供应链、硬件工程、规模制造、标注团队和神经网络训练流程等大量机器人相关能力，能够快速重新组合到人形机器人项目中。

主持人询问人形机器人最早会用于哪些场景。Karpathy 认为消费端做家务、洗衣等场景会较晚出现，因为法律责任和安全风险太高，机器人还不够完美。他判断最合适的第一客户是企业自己，例如 Tesla 先在自家工厂中孵化，用于物料搬运等任务，避免复杂的第三方合同和法律问题。之后可扩展到 B2B 仓库、工厂等受控环境，再逐步进入消费市场。他也提到 Unitree 等消费机器人平台会形成开发生态，但规模化胜出的路径更可能是先工厂、再 B2B、最后 B2C。

围绕人形机器人是否是最佳形态，Karpathy 认为外界低估了每个平台背后的固定成本。与其为每个任务设计专用硬件，不如集中投入到一个能执行多任务的通用平台。人形形态的优势包括：世界本来按人类尺度设计，人类容易远程操作它，从而高效收集数据；多个任务的数据能在同一个神经网络中共享，产生迁移学习效果。他将其类比语言模型：一个文本域中的单一模型同时处理许多任务，知识在任务之间耦合和共享，因此智能和能力得以提升。

主持人提出，轮式机械臂等平台也许比完整人形机器人更便宜。Karpathy 承认硬件上可能有更低成本的通用平台，但担心这会走向局部最优。他倾向于选择一个平台并长期打磨到完美。人形平台还可能更容易被人理解和交流，具备心理上的熟悉感，但也可能引发恐惧。谈到技术里程碑，他认为下肢控制可能更多依赖倒立摆等控制方法，而上肢操作更需要远程操作、数据采集和端到端学习。早期系统会高度混合，通过人工监督逐渐提高机器人自主完成任务的比例。