← 返回访谈列表

Fei-Fei Li is 深度访谈

Fei-Fei Li is Solving the Hardest Problem in Robotics | World Labs with a16z

8
话题段落
1138
字幕段落
42m
对话时长
-
核心金句

📋 访谈摘要

加载中...

📖 话题详览

点击任意话题卡片查看该时段的完整对话内容。

World Labs 的空间智能愿景

开场先抛出空间智能、仿真、世界一致性和机器人可用性等核心主题。李飞飞随后介绍 World Labs 是一家成立两年的前沿模型实验室,目标是构建“空间智能”:让 AI 能够生成、理解、推理并与物理或虚拟空间互动。她强调,大世界模型是实现这一目标的关键路径,而机器人只是空间中行动的一种形式,创意、游戏、设计等虚拟空间同样是重要应用。

空间智能大世界模型虚拟空间机器人

Scenix 的 real-to-sim-to-real 管线

Yunu 介绍自己既是 Scenix 联合创始人,也是哥伦比亚大学助理教授,研究目标始终是让机器人更好地感知并互动于真实物理环境。他指出通用机器人当前的关键瓶颈在训练和评估数据不足。Scenix 因此开发 real-to-sim-to-real 管线,把真实环境映射到数字世界,并追求数字环境与真实环境对齐,使其中发生的事情能对应真实环境,从而可规模化生成训练与评估数据。

Scenix机器人学习仿真评估数据瓶颈

从客户关系到合并契机

李飞飞讲述 World Labs 与 Scenix 的结合并非一开始就计划好的。Scenix 最初只是 World Labs 生成模型 Marble 的客户,在 Marble 去年冬天发布后注册使用。她后来才发现这是 Yunu 的公司,并意识到双方存在很强协同。她解释 Marble 是 World Labs 训练和迭代的基础模型,目前公开能力是把图像、多图或文本提示转化为几何一致的 3D 世界表达,如 Gaussian splat 或 mesh。

Marble收购整合3D重建客户发现

双方团队能力互补

双方进一步讨论合并的互补性。李飞飞介绍 Scenix 三位技术联合创始人的背景:Yunu 具备从建模到硬件的全栈机器人能力,Changi Jan 在仿真、VFX 和技术创业方面经验深厚,Sunonni 是有产业经验的工程领导者。她认为 Scenix 补足了 World Labs 原本缺少的机器人和仿真人才,而 World Labs 在生成模型、计算机视觉和 3D 重建方面的能力,也能帮助 Scenix 更高效地建模环境。

团队协同仿真人才生成模型3D重建

机器人基础模型与动作模态

主持人追问 World Labs 是否会推出机器人基础模型。李飞飞回应 World Labs 正在构建基础模型,随着技术演进,最令人兴奋的基础模型会是多模态甚至 omni model,机器人基础模型很可能必须包含动作。Yunu 补充说,这类模型需要处理视频帧、文本、图像、深度等多种模态,而动作既可以作为输入形成前向模拟器,预测环境如何变化,也可以作为输出形成策略模型,决定为实现目标应采取什么动作。

基础模型多模态动作模态策略模型

视频模型与一致性世界

面对“仅用视频模型做机器人”的流行路线,Yunu 强调机器人学习所需的世界必须捕捉问题的关键结构,其中最重要的是一致性。他认为 Marble 与 Scenix 的协同点正在于构建在空间、时间、视角和交互上保持一致的世界。相比之下,很多视频预测模型可能出现物体被推动后消失等不可靠现象,无法给机器人提供足够好的学习信号。他提出仿真驱动模型、真实执行和数据回流可以形成数据飞轮。

视频模型一致性数据飞轮世界模型

务实目标:让机器人真正可用

主持人询问 Yunu 是否也有类似李飞飞的哲学北极星。Yunu 直接回答,他的北极星就是让机器人在真实环境中工作。他提到与李飞飞合作时曾做过基准调查,询问公众希望机器人完成什么任务,收集到的一千项任务中约三分之一与清洁有关,说明人们真正需要机器人承担脏活累活。李飞飞补充说,她欣赏 Scenix 的务实方式:从学术背景出发,却第一反应是与真实行业客户和设计伙伴合作。

务实机器人真实场景清洁任务产业客户

仿真不必完美但要抓住结构

主持人提出创意场景可以容忍不准确,但机器人需要更高精度,Yunu 回应机器人模型也不必完美,关键是足够接近并抓住任务的基本结构。他举例说,飞机、无人机、扫地机器人、四足和双足机器人都依赖模型从仿真迁移到现实;四足或双足机器人能在雪地和灌木上行走,并不要求仿真精确复现每片雪和灌木。面对真实数据不可或缺的观点,他表示仿真与真实数据并不矛盾,仿真可结合物理与学习,真实数据会在数据飞轮不同阶段发挥作用。

仿真精度现实迁移真实数据物理学习结合