233
1📝 本期播客简介
本期我们克隆了：知名 AI 工程播客 Latent Space The AI Infra Stack: DeFlash, Auto Endpoints, RDMA, and Sandboxes — Akshat Bubna, Modal CTO
原内容更新时间：2026-07-08
本期嘉宾是云平台 Modal 的 CTO Akshat Bubna，主持人是 swyx 和 Vibhu。Modal 刚完成 C 轮融资，正从一家"为开发者提供更好体验"的公司，转向"为 AI Agent 提供更好体验"的公司。他们服务着 Suno、Runway、Cognition 等一众前沿 AI 公司，为弹性推理、模型训练和 Agent 沙箱提供底层算力。
这期节目不是 Modal 的产品发布会，而是一场关于 AI 基础设施本质的深度思辨。Akshat 详细拆解了为什么传统云架构（尤其是 Kubernetes）从根本上不适合突发性、算力密集型的 AI 工作负载，以及 Modal 如何用"自供应运行时"和"代码即配置"的理念来替代 YAML 地狱。如果你在思考 AI 应用的部署、Agent 的沙箱安全、推理性能优化，或者云平台的未来形态，这期会提供大量来自一线构建者的高密度判断。
👨⚕️ 本期嘉宾
Akshat Bubna，云平台 Modal 的联合创始人兼 CTO。Modal 是一个专为 AI 工作负载从零构建的云平台，覆盖弹性推理、分布式训练、批处理和 Agent 沙箱等场景。Akshat 带领团队在 GPU 快照、推测解码（DFlash）、自动缩放等底层技术上做了大量开源贡献，服务着从大语言模型到计算生物学、机器人等领域的头部 AI 公司。
⏱️ 时间戳
Modal 的起源与核心理念
创业起点：为什么工作流编排产品都那么难用
构建更好的运行时：从 serverless 函数到 GPU 推理
核心理念：用装饰器定义一切，告别 YAML
从开发者体验到 Agent 体验
SDK 团队方向转向 Agent 体验
Agent 时代的新重点：可观测性比代码本身更重要
Modal 是什么：一个为 AI 应用从零搭建的云平台
弹性推理：Modal 的核心战场
最大用例是弹性推理，刻意避开大语言模型领域
技术护城河：GPU 快照与自动缩放
开源 DFlash：基于块的推测解码，实现乘法级性能提升
沙箱、网络与 Agent 基础设施
2023 年就做了沙箱，第一个例子是让 Agent 自我迭代
沙箱支持 sidecar，一个 pod 里跑多个容器
隐藏功能 I6PN：用 IPv6 构建的私有覆盖网络
训练、批量处理与容量管理
多节点训练聚焦小规模后训练，不做大规模预训练
计算策略团队：如何在 17 家云厂商之上做容量规划
批量处理层：不在乎延迟就能拿到便宜得多的价格
Agent 时代的云与未来展望
如何看待托管 Agent 与基础设施层的关系
CI/CD 的浪费：用内存快照让 Agent 驱动的 CI 更高效
公司能否只靠更好的 Agent 体验就做起来
🌟 精彩内容
💡 "你为什么要让一个 Agent 去读几百个 Kubernetes 文件、写那种连类型都没有的 YAML？"
Akshat 指出，Agent 体验和开发者体验在本质上高度一致——好的工具应该让使用者（无论人还是 AI）用最简单的方式表达意图，而不是陷入配置文件的泥潭。Modal 的答案是：用代码中的装饰器声明需求，运行时自动供应。
"它明明只需要改几个装饰器里的参数，就能得到一个自供应的运行时，直接看到自己的改动实时生效。"
💡 AI 工作负载不是 Web 服务器，Kubernetes 的慢速扩缩容根本不适合
传统云架构为常驻型 Web 服务设计，扩缩容是渐进的。但 AI 推理和训练是突发性的——你可能需要在几分钟内从 1000 张 GPU 扩到 1500 张，而且必须在特定区域内完成。Modal 从第一天就为这种"算力密集型、高度突发"的负载设计。
"Kubernetes 是为慢速扩缩容设计的，更适合 Web 服务器那种场景。而这些工作流需要快速伸缩，运行环境也越来越专门化。"
💡 推测解码的加速是乘法级的，不是优化 kernel 那几个百分点能比的
Akshat 解释了推测解码的核心逻辑：用小模型预测 token，大模型批量验证。关键指标是"接受长度"——只要草稿模型产出的 token 被足够多地接受，就能获得数倍加速。Modal 开源的 DFlash 在此基础上做基于块的推测，进一步提升效率。
"优化 kernel 通常只能带来几个百分点的提升，而提高接受长度，带来的可是乘法级的降低。"
💡 沙箱的硬边界不可替代，用 LLM 中介权限让人不安
当 swyx 提出"AI 操作系统的内核可能就是一个 LLM"时，Akshat 明确表达了怀疑。他认为沙箱层面必须有硬边界来防止数据泄露，LLM 只能作为软护栏的补充。这是基础设施构建者对安全底线的坚持。
"我对沙箱层面用 LLM 来中介权限持怀疑态度，因为你确实需要硬边界。不然的话，别人显然可以把数据偷出去。"
💡 我们刻意不做模型 API，因为纯爱好者市场粘性低
与竞争对手 Replicate 不同，Modal 选择不提供"一键调用模型"的 API 服务。Akshat 认为，真正在打造产品的公司需要的是代码级的灵活性和控制力，而不是一个黑盒 API。这种筛选效应让 Modal 的客户更有差异化，粘性也更强。
"我们一直刻意避开的一件事，就是给模型提供 API。我们一直想服务的是那些在打造产品、需要更多灵活性的公司，而不只是要一个 API。"
💡 在 17 家云厂商之上构建可靠性层，让用户接触到的容量比自己能拿到的多得多
Modal 没有自己的数据中心，而是在全球 17 家云厂商和裸金属提供商之上构建了一个"超级云"。他们在上面加了一层可靠性抽象，让 GPU 掉线或故障对用户工作负载透明。这种轻资产、重软件的策略让他们能专注在真正的差异化上。
"新云厂商的可靠性程度各不相同，所以我们花了很多时间在上面构建了我们自己的可靠性层。这实际上让我们能使用的容量，比你自己作为用户能接触到的要多得多。"
💡 基础设施最激动人心的时代，之前其实无聊了好一阵子
swyx 回顾了过去几年的变化：从"你很难让人对数据基础设施兴奋起来"，到现在"大家都在意了"。Akshat 认同这一点，并指出规模是一切变化的底层驱动力——AI 需要的算力规模让基础设施重新变成了一个性感且充满挑战的领域。
"这是个非常激动人心的时代。我觉得很大一部分原因是，这一切需要的规模太大了。"
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺；
如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight
