EP180|谁将赢得推理市场?开源 LLM 推理到顶了吗?算力成本会走向何方?后训练与 RL 的真实上限用中文听见整个硅谷

EP180|谁将赢得推理市场?开源 LLM 推理到顶了吗?算力成本会走向何方?后训练与 RL 的真实上限

74分钟 ·
播放数9
·
评论数1

20VC 主持人 Harry Stebbings 与 Modal 联合创始人兼 CEO Erik Bernhardsson 长谈推理市场的赢家、算力成本走向与后训练的天花板,兼及融资、护城河、开源模型和北欧文化。

本期内容

这期对话的起点是一个投资人式的提问:AI 基础设施的下一块大蛋糕在哪儿。Harry Stebbings 把问题直接摆上台面——推理需求近乎无限,能不能长出千亿美元的公司。回答的人是 Modal 的联合创始人兼 CEO Erik Bernhardsson:他刚拿到由 Accel 领投的 7.5 亿美元 D 轮(估值 157.5 亿美元),公司年化收入跨过 10 亿美元。这两个数字让他的判断不只是空谈,而是带着一家公司实打实的账本。

Erik 把推理称为「新的云」,却拒绝把这件事说成「美元换 token」。他的理由顺着市场结构展开:推理会按产品碎片化,低延迟、批处理、沙箱、后训练、强化学习各有各的需求,市场只有 10 亿美元时不会有子市场,到 1000 亿时会冒出很多种;只卖单一 token 就是没有转换成本、只能向底部竞赛。顺着这条逻辑他谈到毛利的分层:客户付的 1 美元要流经应用、模型、基础设施、云、英伟达好几层,每层拿走 20–30%,软件级 90% 的毛利已经基本消失,Modal 长远能做到 40–60% 就已经很好。

节目中间有一段关于「护城河」的反复掰扯。Erik 承认 Hamilton Helmer 的《7 Powers》是好书,却批评创业者读了会妄想——护城河通常要等到公司第十年才可能存在,早期能做的是像 Ben Thompson 写 Snap 时说的姜饼人,跑得比所有人快。轮到自家产品他又收回一层:文件系统、容器运行时、调度器这些工程细活「很难被复制」,但不算护城河。同样反直觉的是他对创业痛苦的看法:创业不是天天吃玻璃,他享受每天建公司的过程,希望同一家公司做 20 到 50 年,被追问两次仍然回答绝不卖。

算力那一侧的故事更接地气。Erik 形容 GTC 会场像「露天毒品市场,只不过交易的是 GPU」,Modal 的角色是替客户在这层脏活里采购算力,目前与约 25 家 neocloud 合作,按他的说法只掌握全球算力约 0.1%。这段之后还延伸到 NVIDIA 真正的护城河在生态而非 CUDA、开源模型与前沿模型是两个都会增长的市场,以及他自嘲 15 年来年年误判「非英伟达之年」。

后半程多半是复盘和坦白。他承认第二产品沙箱 2023 年上线时只占很小一块收入,直到 2025 年夏天模型能力变强才爆发,今天是约 3 亿美元 run rate、约占收入三分之一;也承认误判过 LLM 推理是商品化赛道,DeepSeek 出现后 12 个月内把团队从 1–2 人扩到约 30 人。有一处细节值得留意:Modal 150 名工程师每月在 coding agent 上花约 50 万美元,而 Stebbings 反复嫌这个数字「太少了」。节目最后收在个人层面——怎么同时当好爸爸和好 CEO、北欧文化并非压抑个人出头,以及他最期待的一件事:吃上 AI 生成的药。

核心观点

  • Erik Bernhardsson 认为推理会成为「新的云」:一个需求近乎无限、比所有人此前估计大 10 到 100 倍的市场,足以长出千亿美元公司——但他强调这绝不是「美元换 token」的倒卖生意。他判断推理市场会「按产品」碎片化:低延迟推理、批处理推理、沙箱、后训练、甚至自训专用模型各有需求,市场只有 10 亿美元时不会有子市场,到 1000 亿时会冒出很多种。因此单卖推理是「没有转换成本、只能向底部竞赛」的压缩层,必须把沙箱、后训练、强化学习等整套工具耦合进去,客户才会留下来——他用「没人想买只会一招的马」概括这一点。数据上,Modal 刚过 10 亿美元 ARR、每月仍增长 30–40%,其中一个当年无人问津的第二产品(沙箱)做到了 3 亿美元 run rate、约占收入三分之一。他还提醒,哪怕乐观也不能指望软件级毛利:客户付的 1 美元要流经应用、模型、基础设施、云、英伟达等层,每层拿 20–30%,能到 40–60% 已经很好。

  • 【反直觉】Erik 认为初创公司在早期根本没有护城河,《7 Powers》式的护城河击退了这种妄想——唯一能做的是像姜饼人一样跑得比所有人快。大家原来以为「护城河」是创业和投资的基本功:好的公司应该一开始就建起壁垒,回答「别人抄不了的地方在哪」。他拿《7 Powers》开刀:书是好书,但创业者读后会「妄想」,以为自己一身护城河,而护城河通常要到公司第十年才可能存在;Google 想做什么就能做什么,这在早期就是没有护城河的意思。他引用 Ben Thompson 写 Snap 的文章——Snap 没有护城河,只能跑得比所有人都快——说这对今天几乎所有创业公司都成立。更有意思的是,他对「Modal 有壁垒」的说法按自己「Definition(定义)」处理:自称「不算护城河,只是很难被复制的产品」,真正难的是文件系统、容器运行时、调度器这些工程细活。反过来他把「资本」说成有帮助的其中之一,而不是护城河。

  • 【反直觉】Erik 反对「创业就是天天吃玻璃」的叙事:他享受每天建公司的过程,希望同一家公司做 20 到 50 年,明确表示绝不卖。大家原来以为创业是一场以痛苦换回报的交易,创始人熬到 IPO 或被收购就「上岸」,卖掉公司是往往系型的终点。他说如果每天都那么痛苦,为什么还要做?他承认创业有难的时候——难谈的对话、裁员、难做的事,但那是「生活的一部分」,他享受生活本身就享受创业。被主持人两次追问「你真的不会卖吗」,他回答不会:卖掉之后他大概只会去创办下一个 Modal 2,因为机会远未做完。钱的边际效用他也说得很轻:有点钱是好的,但过某个程度就没那么重要,真正喜欢的是造东西、写代码;主持人调侃「从来没有美国人说过不是为了钱」,并猜这是瑞典式「自我实现即最高声望」。他也承认自己直到 36、37 岁才创业,原因主要是「对自己从不够自信」,而不是缺钱。

  • 【反直觉】Erik 认为「让程序员更高效」不会让工程师失业,只会解锁更多需求——历史上每一次抽象层上移,等来的都是软件需求变多。大家原来以为AI 编程工具越强,需要的工程师就越少,程序员会被替代,公司里花在 coding agent 上的钱也会随 hunch 减少。他从自己 30 年写代码的经验出发:从打孔卡、COBOL 到 C++、Python,再到现在的 agents,每次让程序员更高效,结果都是需求增加而不是减少,世界上还有太多地方渴求软件。他认为外人最大的误解是把工程当成「把英语翻译成代码」——真正的工作是理解需求、充当人和系统之间的接口,这项工作只会随抽象层不断上移。他还用 Modal 内部的数据打底:150 名工程师每月在 coding agent 上花约 50 万美元。对 Anthropic IPO 的质疑(Claude Code 收入会随效率提升而下降吗),他的回答是「只会吃掉更多」:让某件事更好用,会解锁五个新用例。

嘉宾

  • Harry Stebbings(主持人):英国播客 20VC 的创始人兼主持人,1996 年生,2015 年以专注风投与创业者的短访谈节目 The Twenty Minute VC 起步,后延长为常一小时以上的长访谈,英文分发名为 20VC with Harry Stebbings。同时经营投资业务,是 20VC Fund 的创始合伙人。本期他以投资人视角追问推理市场的规模、可防御性与估值,并多次就毛利、融资纪律和人才大战提出反问。

  • Erik Bernhardsson(嘉宾):AI 基础设施平台 Modal 的联合创始人兼 CEO,Modal 提供无服务器容器、沙箱、批量与低延迟推理和训练能力。据节目披露,公司完成由 Accel 领投的 7.5 亿美元 D 轮、估值 157.5 亿美元,年化收入刚过 10 亿美元。他瑞典长大,8 岁左右开始编程,曾在 Spotify 做消费级产品,36–37 岁才创办第一家公司,自称 infra geek。

技术背景

推理为什么被称作「新的云」

推理指模型训练完成之后实际运行、回答请求的过程,规模和形态跟训练差别很大:训练是少数大厂的大块算力,推理则是随每个用户请求产生的海量、高并发、对延迟敏感的工作负载。这决定了推理供应商要处理的不只是算力调度,还有冷启动速度、按需弹性、不同任务的延迟档位。Erik 的类比是云计算的早期:当年没人能算清 AWS 会多大,今天同样没人算得清推理。本期他据此给出市场比普遍估计大 10 到 100 倍、足以长出千亿美元公司的判断,并用「市场到 1000 亿美元时会按产品碎片化」这个结构解释为什么单卖 token 的公司会被压在底层。

ARR、run rate 与 GPU 上的现金消耗

ARR(年度经常性收入)和 run rate(年化营收)是把当期收入按当前水平外推到一年,用来衡量增长节奏,不是已经收到的合同金额,读这类数字时要分清口径。本期 Modal 的口径是年化收入刚过 10 亿美元、每月仍增长 30–40%,沙箱这一条产品线约 3 亿美元 run rate、约占收入三分之一。基础设施生意的另一面是现金:Erik 说公司长期资本效率很高,但从去年起因为 GPU 产能才开始大额投入现金,这也是他反复强调「把每一轮当最后一轮融」的现实背景。

Neocloud 与算力市场的金融工程

Neocloud 指以 GPU 算力租赁为核心的一类专用云厂商,区别于 AWS、Azure、GCP 这样的超大规模云,代表是 CoreWeave、Nebius。这类公司做的往往不只是技术:锁定长期算力合约、拿芯片作抵押融资、提前买入 GPU、再按几年周期还债,本质是一场资本游戏,Erik 因此说它们的核心竞争力在金融工程。Modal 的位置在中间层——据节目说法,它与约 25 家这类厂商合作,替客户做采购与撮合,长期目标是把供给和需求两侧都聚合起来。听这一段要注意,节目里出现的具体比例都是 Erik 的口头陈述。

NVIDIA 生态护城河与 CUDA

CUDA 是 NVIDIA 2006 年推出的通用 GPU 并行计算平台与编程模型,包括 C/C++ 语言扩展、nvcc 编译器、runtime,以及构建其上的 cuBLAS、cuDNN、NCCL、TensorRT 等加速库。PyTorch、vLLM、SGLang 的 GPU 后端都建立在这套生态之上,迁移成本不仅来自 API,更来自围绕 CUDA 优化过的手写 kernel、调优经验和框架默认优先支持的路径。Erik 的论点是:CUDA 本身不是护城河,整个围绕 kernel 优化和框架优先支持的生态才是。他也承认替代路径——AMD 的 ROCm、谷歌 TPU、自研 ASIC、OpenAI 2019 年开源的 Triton——在特定场景已经落地,只是还没在通用训练和推理上动摇 CUDA 生态的主导地位。

后训练与强化学习的天花板

后训练是在预训练模型基础上用微调、RL 等手段继续提升特定能力,强化学习则依赖可自动验证的反馈来打分——代码能在沙箱里跑通、Lean 的形式化数学证明能被机器检查,都属于这类反馈。这类任务的好处是信号明确、可批量自动化,所以后训练在这一类场景里现在特别有效,网络安全也类似。限制则来自反馈周期:如果一件事要好几年才知道做得好不好,模型就很难在训练环里被有效优化。本期这一段同时解释了沙箱为什么是训练与推理共同的必需品,以及哪些任务会先撞上这堵墙。

沙箱为什么等了四年才爆发

沙箱指给模型或 agent 开的隔离运行环境:一台临时、用完即弃的容器或虚拟机,可以跑 Python、装包、读写文件、调用命令行、联网,模型用工具调用在沙箱里执行代码再拿回结果。它既是 agent 的「手脚」,也是 RL 训练中让模型反复试错的环境载体,通常需要秒级冷启动和海量并发。需求曲线跟模型能力绑得很紧:模型弱的时候长链任务跑十步就失败,没人愿意买这个环境;2025 年模型能力上来后,软件工程与计算机操作类 agent 能真正完成长任务,每次任务的沙箱占用时长和并发数都成倍上升,环境算力才从可选功能变成基础设施。Modal 的沙箱 2023 年上线,直到 2025 年夏天才爆发。

时间戳

  • 00:00 磊哥导读:推理是新云,但不是倒卖生意

  • 09:24 开场:千亿美金推理市场与 Erik 的创业时点:Stebbings 抛出推理需求无限、能长出千亿美元公司的判断,Erik 表示接受市场回调、绝不卖公司,并回顾自己从 8 岁编程到 36–37 岁才创办第一家公司的心路。

  • 16:25 反「吃玻璃」心态与「护城河」不存在:Erik 否认创业是每天吃玻璃,说想在同一家公司做 20–50 年;融资从不做 pitch deck,只提前一年建关系;谈到护城河时他借《7 Powers》和「姜饼人」说早期只能跑得比所有人快。

  • 22:42 品牌人格、产品宽度与推理市场的毛利结构:品牌的关键是给公司造出人格,Modal 靠开发者体验与 PLG 自下而上获客;Erik 反驳「推理只是倒卖 token」,并用分层结构解释为什么软件级 90% 毛利已经消失。

  • 27:43 GPU 采购、实力护城河与开源模型之争:GPU 采购像「露天毒品市场」,Modal 与约 25 家 neocloud 合作;NVIDIA 的真护城河是生态而非 CUDA;开源与前沿模型是两个都会增长的市场,欧洲真正缺的是把人才聚到一家公司。

  • 41:18 创始人营销与多产品策略:沙箱四年才等到时机:Erik 承认自己的人格化营销执行不到位,早期增长很大程度来自不停发推和私信;沙箱 2023 年上线后沉默两年,2025 年夏天爆发到约 3 亿美元 run rate。

  • 47:55 复盘资源错配、开源推理之争与下一批增长曲线:他承认误判 LLM 推理是商品化赛道,DeepSeek 后 12 个月内从 1–2 人扩到约 30 人;并逐个盘点训练、批量任务、数仓周边与 CI 这些候选的下一批增长曲线。

  • 53:25 工程师的未来、token 花费与「拥有自己的智能」:每次让程序员更高效,需求反而扩大——工程不是把英文翻译成代码;Modal 150 名工程师每月在 coding agent 上花约 50 万美元;「拥有自己的智能」真正的好处是可控与稳定。

  • 1:00:51 模型路由的独立性、股权流动性与人才军备竞赛:路由今天能做成生意,长期应属于更全面的平台;他几乎不拿 secondary,但认为为员工做是创始人责任;人才战输给的是 2000 万美元以上 offer 的新毕业生。

  • 1:07:30 好爸爸与好 CEO、北欧文化与 AI 制药的期待:育儿类比经营:推的力度必须落在中间;他反驳斯堪的纳维亚文化压抑个人出头,谈挪威税制与主权基金,最期待的是吃上 AI 生成的药。

术语表

  • Inference(推理):模型训练完成后实际运行、回答请求的过程。本期核心论断:推理是「新的云」,需求近乎无限,市场比普遍估计大 10 到 100 倍。

  • ARR / Run rate(年度经常性收入 / 年化营收):按当前收入水平外推到一年的规模,用来衡量增长而非已收合同额。Modal 年化收入刚过 10 亿美元、每月仍增 30–40%,沙箱约 3 亿美元 run rate。

  • Tokens for dollars(美元换 token):Erik 用来形容只做推理转卖的生意:没有转换成本,只是向底部的竞赛,所以必须配上沙箱、后训练、RL 等一整套工具才有毛利空间。

  • 7 Powers(《七种力量》):Hamilton Helmer 关于持久竞争优势的书。Erik 认可它是好书,但认为创业者读了会产生妄想——早期从来就没有护城河。

  • Gingerbread Man(姜饼人):Ben Thompson 分析 Snap 的文章:没有护城河的公司只能跑得比所有人快。Erik 用它概括今天几乎所有创业公司的处境。

  • PLG(产品主导增长):由产品体验驱动用户自下而上注册使用,而非靠自上而下销售。Modal 靠开发者体验和创始人营销走这条路。

  • CUDA(CUDA):NVIDIA 2006 年推出的 GPU 并行计算平台与编程模型。Erik 认为 CUDA 本身不是护城河,围绕 kernel 优化和框架优先支持的整个生态才是。

  • Neocloud(新型云厂商):以 GPU 算力租赁为核心的新兴云服务商,如 CoreWeave、Nebius。Erik 认为其核心竞争力在金融工程,Modal 与约 25 家这类厂商合作。

  • GTC(GTC 大会):NVIDIA 年度技术大会。Erik 形容会场像「露天毒品市场,只不过交易的是 GPU」,指的是围绕产能的私下撮合。

  • Post-training(后训练):在预训练模型基础上用微调、RL 等方式提升特定能力。Erik 认为它对反馈机制明确的任务最有效,例如代码可跑、Lean 证明可被机器检查。

  • Sandbox(沙箱):可安全运行生成代码的隔离环境,也是 agent 的工具执行后端与 RL 的训练环境。Modal 的第二大产品,2023 年上线,2025 年夏爆发到约 3 亿美元 run rate。

  • RL(强化学习):后训练常用手段,依赖可自动验证的反馈。反馈周期越短、越确定,效果越好;需要数年才知道结果的领域会先撞天花板。

  • Coding agent(编程智能体):能自主写代码、跑测试、完成开发任务的 AI。Modal 150 名工程师每月在其上花约 50 万美元,Stebbings 反复嫌这个数字太少。

  • Claude Code(Claude Code):Anthropic 的编程智能体产品。面对「效率提升会不会让它的收入下降」的质疑,Erik 的回答是让事情更好用只会解锁更多用例。

  • Model routing(模型路由):根据请求类型把流量分发给不同模型以优化成本与延迟。Erik 认为今天可以做成成功生意,但长期应属于更全面的平台。

  • Secondary(老股转让 / 二级出售):员工或创始人在上市或被收购前出售老股套现。Erik 本人几乎不拿,但认为为员工设立并设上限是创始人的责任。

  • Jante Law(詹特法则):常被认为源自北欧的社会规范,主张不要以为自己特别。Erik 认为这是对斯堪的纳维亚文化的误解,北欧其实高度尊重自我实现。

  • Turbo Puffer(Turbo Puffer):向量数据库公司,创始人是丹麦人 Simon。在快问快答中,它是 Erik 唯一愿意全押的公司。

延伸阅读

原节目:20VC with Harry Stebbings 。

本节目为英文原节目的中文译制,每位说话人都用自己的声音说中文,观点以原节目为准。

原节目:20VC: Who Wins the Inference Market | Has Open-Source LLM Inference Peaked? | What Happens to the Cost of Compute | The Real Limits of Post-Training and RL with Erik Bernhardsson, Modal CEO

原节目发布时间:2026-11-02

展开Show Notes
透明鱼
透明鱼
3天前
文稿咋这么浓的AI味😱