Alexandr Wang 深度访谈

开场补充了访谈录制后的重大背景：Meta 同意向 Scale AI 投资超过 140 亿美元，公司估值达到 290 亿美元，Alexandr Wang 也宣布将领导 Meta 新的 AI super intelligence lab。主持人说明，本期对话会回到这笔投资之前的历史脉络，从 Scale 在 YC 的早期经历讲起，再延伸到其在基础模型训练中的关键作用。片头还提前点出两个核心主题：AI 行业缺乏足够困难的评测，以及做出卓越工作所需的强烈投入感。

主持人先回到 Alexandr Wang 从 MIT 辍学并创办 Scale 的起点。Wang 解释，他在进入 MIT 前曾于 Quora 做软件工程师，当时机器学习工程师已经比普通软件工程师更受市场追捧。他还回忆自己少年时期参加旧金山理性主义社区组织的夏令营，接触到 Paul Christiano、Greg Brockman、Eliezer Yudkowsky 等后来在 AI 领域重要的人物，并很早就形成一种认知：AI 与 AI Safety 可能是其一生中最重要的工作方向。进入 MIT 后，他深入学习 AI，随后感到焦躁并申请 YC。

Wang 回顾 Scale 最初并非今天的数据基础设施公司，而是在 2016 年聊天机器人小热潮中寻找 AI 应用场景。他们最早想做“医生聊天机器人”，但团队其实并不了解医生行业，只是觉得医生听起来昂贵、值得自动化。他借此反思年轻创始人早期想法往往很模仿、缺乏对自身独特优势的判断。后来他们观察到，聊天机器人真正难点在于需要大量语言数据和人工处理，于是转向为聊天机器人公司提供数据与人工任务服务，并把最初概念包装成“human tasks API”。Scaleapi.com 域名被买下后一周内上线 Product Hunt。

Scale 早期通过一个简洁的落地页在 Product Hunt 发布，其标语被主持人概括为“an API for human labor”。Wang 认为，这个想法之所以能引发创业社区兴趣，是因为它带有一种奇特的未来感：不是人调用机器，而是 API 调用人类完成任务，形成某种反向自动化。发布后，许多工程师主动联系他们，带来了各种分散的用例，虽然还不聚焦，但足以帮助团队获得融资并继续推进。谈到当时的竞品 Mechanical Turk，Wang 说很多人听说过它，但真正使用过的人都知道体验很糟，这反而给了 Scale 早期信心。

Wang 表示，Scale 真正的成功基础来自看似狭窄的自动驾驶数据问题。YC 毕业约六个月后，Cruise 通过网站联系 Scale，并很快成为最大客户。Scale 因此决定聚焦自动驾驶，尽管当时主要投资人认为这个市场太小，无法支撑一家巨大公司。Wang 回忆团队判断不同：自动驾驶公司获得大量融资，传统汽车厂商也投入重金，该方向显然代表未来，集中资源能让业务更快起量。回头看，他认为双方判断都有道理：自动驾驶帮助 Scale 快速做大，但它本身确实不足以长期支撑一个巨型业务。

主持人把 Scale 比作“数据领域的 Jensen Huang”，并追问 Wang 何时意识到 scaling laws 的重要性。Wang 解释，自动驾驶时代并不真正围绕 scaling laws 展开，因为模型必须在车端运行，算力受限，工程师更关心如何把较小算法持续打磨得更好。Scale 在 2019 年开始与 OpenAI 合作，当时处于 GPT-2 阶段，模型还像一个有趣但不算震撼的研究演示。到 GPT-3 时代，scaling laws 的效果开始变得真实。Wang 还回忆自己早期试用 GPT-3 时，朋友会对 AI 产生近似“个人化”的挫败和愤怒，这让他意识到它与此前技术有质的不同。

Wang 认为，真正让行业普遍认识到生成式 AI 的，是 DALL·E，随后 ChatGPT、GPT-4 等产品进一步确认了这一趋势。对 Scale 而言，GPT-3 最初只是多个押注之一，但到 2022 年 DALL·E、ChatGPT 和 GPT-4 接连出现，再加上 Scale 曾参与 OpenAI 的 InstructGPT 工作，生成式 AI 成为公司乃至世界的重大转折点。主持人也提到 2022 年底 GPT-3.5 发布后，许多创业公司和聪明人开始在 2023 年转向 AI。Wang 特别强调，GPT-4 让 scaling laws 的现实性变得非常清楚，也让数据需求呈现出消耗所有可用人类信息与知识的趋势。

访谈最后转向模型改进的新范式。Wang 认为，当前模型进步的主要增益不再来自预训练，而是进入推理与强化学习的新 scaling curve，并且效果惊人。他把 AI 发展与摩尔定律类比：虽然阶段性技术曲线不同，但从远处看会像持续平滑的模型能力提升。随后他讨论企业级全参数微调和强化微调，称这可能成为未来蓝图：每家公司的核心 IP 不再只是代码库，而可能是驱动内部工作流的专属模型。企业能加入自身独有的数据、环境和业务问题，形成他人无法复制的模型能力。主持人也指出，评测与数据集会成为企业护城河的一部分。