Decagon’s Playbook for Building Enterprise AI Applications
加载中...
点击任意话题卡片查看该时段的完整对话内容。
开场以一组核心判断概括访谈主题:AI agent 应该成为企业面向客户的“前门”,无论客户互动是被动响应还是主动触达,都应由 AI 承担。同时,主持人引出当时流行的观点,即前沿模型公司可能吞掉所有应用层创业公司。嘉宾则提出反驳:即使达到 AGI,代理仍需要存储工作、调用信息、围绕业务流程推理,因此软件不会整体消失。Decagon 的重点不是做一个普通客服代理,而是做能够遵循企业业务流程的代理系统。
访谈正式开始后,主持人从开源与闭源模型之争切入,讨论企业如何“掌握自己的 AI 命运”。嘉宾回顾 Decagon 的演进:早期目标只是尽快做出可用产品,因此直接使用 OpenAI、Anthropic 等前沿模型;随着服务更大客户、处理百万级用户,并推出语音代理,延迟成为关键约束。为了让代理更快、更可控,他们开始采用小模型。但闭源实验室的小模型难以按需求控制,通用小模型也无法开箱即用,因此 Decagon 转向开源模型并进行微调,最终建立了研究团队。
嘉宾进一步解释为什么开源小模型不仅是成本替代,而是性能选择。Decagon 将模型按成本、智能和延迟三个维度评估,在具体任务中不一定需要通用大模型的全部能力。代理内部包含许多子任务,例如识别话题、判断恶意用户、执行某个业务步骤,这些任务只要求模型在单一目标上稳定表现。通过对较小、较弱但更专门的模型进行微调,Decagon 在特定任务上获得了比大型前沿模型更好的效果,同时还得到更低成本和更低延迟。
主持人追问 Decagon 是否仍需要最前沿模型。嘉宾回答,核心对话流程中的再预订、医疗流程等任务较明确,适合使用内部训练的小模型;但更开放、探索性的辅助任务仍需要前沿模型。例如 Decagon Autopilot 会审阅大量历史对话,发现趋势,生成核心代理的多个变体,并比较哪些变体表现更好。这类任务边界更宽、推理要求更高,前沿模型的通用智能和探索能力仍有明显价值。
主持人询问企业是否也会像 Decagon 一样具备开源模型后训练能力。嘉宾认为企业最终会走向这一步,但速度会比外界想象慢。原因在于微调模型并不只是决定“使用开源”,还需要高质量数据、可靠评测和针对自身任务的基准。当前企业虽然对开源模型有兴趣,但许多新用例仍处于试验阶段,使用前沿模型 API 更简单。只有当用例成熟、进入规模化生产并且代理形态稳定后,企业才有强动力转向开源,因为这时延迟和成本优势会变得明显。
嘉宾解释为什么企业或 AI 应用公司需要类似实验室的持续模型能力。模型能力边界变化极快,团队不能训练一批模型后长期不管,而是要随着前沿能力、开源模型能力和新任务形态不断训练新模型、淘汰旧模型。Decagon Labs 被描述为一种“模型工厂”,目标是压缩从新模型发布到产出适配 Decagon 任务的微调模型之间的时间。这个能力帮助公司持续利用模型生态进步,而不是被单一模型版本锁住。
主持人转向人才和基础设施边界,询问 Decagon 如何判断哪些能力要自建,哪些可以外包。嘉宾表示,很多与模型训练相关的能力和具体用例高度耦合,因此 Decagon 往往需要内部构建工具。尤其是评测体系,他们不仅看单个模型的损失曲线或单项任务表现,而是衡量模型与其他模型协同后是否带来最终客户结果。相对而言,标注数据、衡量数据集多样性等更通用的工作可以购买外部服务,因为目标始终是尽快把最佳模型推向生产。
主持人提出行业热议的 token economics,询问 Decagon 是否主要关注模型成本。嘉宾表示,Decagon 当前的核心驱动是性能、延迟和准确率,成本只是附带收益。客户关心的是每次对话的体验和结果,而不是供应商内部消耗多少 token。为了提升质量,Decagon 每次对话使用的 token 甚至增加了,因为系统会进行更多模型调用、检查和并行处理。嘉宾认为,若公司仍完全依赖前沿模型,成本讨论很重要;但一旦掌握问题拆解、开源模型训练和快速部署能力,成本压力就会下降。
主持人总结前文,指出大量关于训练、强化学习和评测的讨论打破了一个误解:AI 应用并不只是前端 UI 加上前沿模型 API。她提到当时流行的叙事,即 OpenAI、Anthropic 可能成为“最后的创业公司”,应用层只是薄 UI 和一些实现细节。随后她请嘉宾讨论应用公司与基础设施公司的二分是否成立,并从企业客户视角提出问题:一家财富 100 强公司面对 AI 用例时,是该与应用公司合作,还是直接使用实验室模型从零构建。该话题为后续讨论 Decagon 的应用层护城河做铺垫。