Working at DeepMind, 深度访谈

主持人从研究者视角询问 David 从学术界加入 DeepMind 后最兴奋的方面。David 回答说，最核心的是组织内聚集了大量优秀人才，而且不仅是研究侧，在机器学习、计算机视觉、自然语言处理等方向都有经验丰富的人。许多优秀研究者集中在同一城市、同一办公室，使午餐、活动和日常交流都可能带来学习机会。他认为这种环境让人能接触酷项目、合作机会和前沿问题，更重要的是能不断向比自己经验更丰富的人学习。

David 进一步说明，DeepMind 的优势不只体现在公开可见的研究成果上，也体现在工程、项目管理、产品管理和组织管理等方面。他提到自己喜欢工程工作，包括写好代码、优化速度、关注量化方案、新 GPU 和集群运行等。相比学术界，他感到 DeepMind 更重视工程能力，而这恰好也是他的强项。因此，加入这样一个既有研究人才又有工程工具和工程文化的组织，对他来说是非常自然且匹配的选择。

David 讲到加入 DeepMind 的另一个动机，是想体验更大团队中的研究方式。他回顾博士阶段通常以个人驱动项目为主，而随着职业发展，博士后或教授会逐渐拥有更大项目和更多合作者。DeepMind 的组织结构则能促进更大团队围绕长期研究问题协作。他也强调，实习期间与团队成员合作顺畅、文化契合，对最终选择加入有很大影响。不过这些因素具有主观性，适合他的团队和文化不一定适合所有人。

主持人回应说，在研究中队友和导师的思维严谨性非常重要，因为思考方式会相互影响。他认为许多关键工作并非完全来自孤立个体，而是在团队中通过问题讨论、视角碰撞和共同推进产生。尤其像 DeepMind 这样面向更大影响和真实世界应用的机构，不能只依赖狭窄的计算机科学视角，而需要更包容的思想和专业背景。David 表示认同，并指出这也是学习不同思考方式和发展想法的过程。

主持人介绍自己的博士研究环境，实验室成员来自工业工程、数据科学、医学等背景，计算机科学学生反而较少。他需要用不同方式向不同对象解释同一项工作：面对计算机学生讲模型细节，面对导师讲足够可评判的技术内容，面对医生则强调模型作为黑箱在实际场景中的用途。David 认为这种根据听众选择抽象层次和表达方式的能力很有价值，并用自己与 IBM Research 合作时和电气工程背景研究者沟通静态存储器的经历作类比。

主持人指出，跨领域合作能帮助研究者从真实影响问题出发，再把洞见迁移回原本的论文或 thesis 主题，例如将来自硬件或医学场景的想法带回鲁棒性研究。David 接着把讨论拉回 DeepMind，强调与不同背景、不同思维过程的人建立关系需要时间和投入，但每次成功沟通都会为自己增加一种新的思考工具。虽然跨背景合作会带来摩擦，也不可能同时向所有人学习，但逐步投入能让研究者获得更丰富的问题视角。

当被问及 DeepMind 实习和当前工作时，David 表示无法谈当前项目，但可以介绍实习内容。他的实习围绕不确定性估计展开，与博士期间研究过的让教师模型表达“我不知道”或“不应信任我的意见”有关。实习中他们研究 conformal prediction，一种训练后的校准方法：固定模型，在校准集上观察预测分布，并在分类任务中让模型输出一个标签集合而非单一标签。集合越小通常表示越确定，若十类问题输出十个标签，则几乎等于模型不知道。

David 解释，传统 conformal prediction 与具体模型无关，可以用于深度网络、随机森林或 SVM。但团队观察到一个问题：训练深度网络时通常优化交叉熵，即面向单一决策；而测试时若使用置信集合，就会出现训练目标和使用方式的错位。因此他们尝试把 conformal prediction 更深地整合进训练流程，称为 conformal training。这个项目让他学习到简单实现背后丰富的统计理论，也让他从不同背景导师那里获得新视角，再把统计知识与深度学习经验结合。