EP046 | vLLM:英伟达为什么不想赢这场仗?AI下一帧

EP046 | vLLM:英伟达为什么不想赢这场仗?

41分钟 ·
播放数196
·
评论数4

一个博士生的课堂项目,凭什么打败了英伟达?

2023年春天,伯克利一个爆款聊天 demo 流量炸了,后端眼看要崩。几个博士生把一个还没公开的东西临时顶上去救场——扛住五倍流量、GPU 砍一半。大半年后才补写成论文。这个救火队员,就是今天全世界跑大模型的默认底座:vLLM。

这期我们追一个反直觉的问题:一个学生的开源项目,凭什么打败了英伟达官方的推理引擎,成了所有人脚下的地基?答案要剥三层——它的护城河根本不是技术(跑分它甚至不是第一),而是抢先变成了接口标准;它能抢先,是因为最有资格的英伟达,出于卖卡的生意逻辑压根不想赢,还顺手把所有想摆脱锁定的客户都送了过来。我们把 PagedAttention、连续批处理用游戏里的刷怪波次和对象池讲清楚,拆开"推理引擎=AI时代收费站"这盘大棋,最后聊聊这个收费站正从训练端悄悄挪到推理端,意味着什么。

适合每一个在 AI 牌桌上,总觉得自己"不够顶尖"的人听。

想听更多 AI 行业深度分析?欢迎在小宇宙搜索「AI下一帧」,每周日早上8点更新。
想聊的欢迎留言,或发邮件给主播:5155280@qq.com

=====================================
时间轴

00:00 开场
01:58 vLLM:先有危机,后有论文
05:49 天天用 vLLM,却没想过为什么
08:40 为什么推理这层这么值钱
12:21 它凭什么快又省:PagedAttention
13:59 它凭什么快又省:连续批处理
21:32 它的护城河,根本不是技术
26:27 英伟达,根本不想赢这场
29:42 英伟达想解也解不开的死结
32:56 它会一直赢下去吗?
37:44 片尾曲《墙根》

=====================================
参考链接:

vLLM 官方 · 起源与技术
vLLM 首发博客(PagedAttention / 24倍 / LMSYS 实战)
blog.vllm.ai
PagedAttention 论文(SOSP 2023)
arxiv.org
vLLM V1 架构重构发布博客
blog.vllm.ai
vLLM 2024 年度回顾 · 2025 展望
blog.vllm.ai
vLLM GitHub 仓库
github.com

连续批处理 · 性能数据
Anyscale:连续批处理第三方实测(8倍/23倍)
www.anyscale.com
Orca:iteration-level 调度起源(OSDI 2022)
www.usenix.org
BentoML:推理引擎中立横评
www.bentoml.com

英伟达为何给对手贡献代码
vLLM × OpenAI gpt-oss 三方适配(含英伟达 Blackwell 内核)
blog.vllm.ai

治理与商业化
PyTorch 基金会托管 vLLM
pytorch.org
Red Hat 收购 Neural Magic
www.redhat.com
Inferact 融资 1.5 亿美元商业化 vLLM
techcrunch.com

同门师弟 · SGLang
SGLang 与 RadixAttention
lmsys.org
SGLang v0.4(Agent/高并发优化)
lmsys.org

=====================================
前游戏开发者,现海外云厂商架构师 [反向弯曲] 主理的 [AI×游戏] 播客!
帮助互联网|游戏从业人员
拆解全球游戏 AI 前沿动态,深挖技术落地干货。
让你轻松拿捏行业脉搏,预判 AI + 游戏的 "下一帧"。
对未来好奇?速戳订阅!
小红书b站同名:反向弯曲

展开Show Notes
听到这期的最后主播讲到位置点的问题,联系当前自己的处境,有个问题想听听主播的高见:我是传统工程咨询转工程软件开发的,现在AI Coding利好了很多工程师,典型场景就是一些边边角角的小需求随手写个小程序就能解决了,这种程度的工具其实都谈不到所谓的决策点(我甚至觉得在许多简单甚至不简单的任务里,强调人类的判断能力是一种自我安慰),然而许许多多这样的小工具也足以影响付费软件的收入。
此前我开发的一个产品最近也被拿去复刻了。这个产品本身有一定复杂度,AI复制品出现了大大小小的可见问题,后续产品根据用户意见的升级也显得有些乏力,但它以免费的姿态出现,多少对我有些影响。
复盘这个软件的成长过程以及用户的反应,我的体感是所谓的市场抢占在小圈子里成立与否存疑,工程行业下行人们越来越价格敏感,所谓的品位、交互便捷性、产品稳定性都成了可以商量的东西,大多数人对使用频次没那么高的软件是很宽容的,当软件免费时尤其如此。但工程行业再出现一个霸道如CAD的软件几乎不现实。这种情况下,主播觉得下一个点要站在哪里?刷怪式地也驱动AI开发各种小产品线占住视野?还是坚持所谓的品质品位路线等待有缘人付费?这个问题不知会不会太重,我的圈子里做开发的不多,就当和主播简单探讨吧,感谢。
反向弯曲
:
讲讲我的看法:刷怪也好坚守也好其实要根据情况来,ai时代解决的是生产侧之前够高的问题,但消费侧盘子没有变大多少。无脑刷怪要么破坏整个生态,要么被高投入低产出拖垮;一味坚守,在ai时代也有点守株待兔情况。 还是要结合自身, opc模式意味你触达的维度和面更多,不要只盯着工程上的那点决策,你要看上下游了,判断自己是因为哪个环节为瓶颈。比如上游政策是否好,有无政策扶持,下游需求旺盛,你能否快速引流?能否有策略提高留存和复购。以上是我的一些思考
Jocelyn_L_Li:感谢赐教。 之前忘了听到哪一期主播在收集对播客内容的建议(好像是反思过于追热点是否有弊端),说点我的看法。我觉得播客也好,书也罢无非意在传递某种知识,只就我阅读的体验来讲,主题指向具体操作的,比如《*天学会**》《**开发与应用》《**零基础开发》这种就比较炮灰,尤其是大段代码充斥完全不管原理的那些。在AI的语境下,“术”不是学得快不快的问题,而是术本身就迭代得太快,前阵子读了一本2025年出版将agent开发书,里面的代码就已经被弃用了;相比之下,有些讲“道”的书反而常看常新,即使现在vibecoding大行其道了,《代码整洁之道》和《设计模式》也有它的意义,不知道主播是否有同感。 回到主题,主播的播客里,我个人最喜欢的几期跟上面说的这个感觉也类似——不是停留在时下具体议题本身,而是带有强烈的系统性、全局观——以一个看似时髦的议题为小切口,讲到一个事物的前世今生,提供一个全局视角+系统性回顾一些大众不知道自己不知道的内容+主播个人判断,落点实则都非常大,比如42排行榜的核心评测内容和弊端、38期KV Cache优化流派解析、36期主流Agent Harness框架、现存问题还有开源战略意图等等,早时的6、10、17、27期偏原理的也不错。总之,系统性+技术热点背后的全局知识深挖,是我给的第一个建议; 第二个建议是词要够热。以前看说,有些音乐之所以被大众喜欢,只是它被人有意无意地听过很多次。人可能天然关心自己耳熟能详的东西,比如主播推出和deepseek相关的几期数据都不错(这个例子不一定恰当),当然和ds的框架创新确实让人惊喜不无关联,但我猜多少沾点熟悉的福利。相比之下,我觉得主播选择做人物专栏可以再斟酌,我感觉这个时代已经罕见超级偶像了,之前听《半拿铁》的人工智能风云录,多少能人的名字不过一闪现,听的时候觉得有意思,后面真的去翻赫伯特西蒙的传记,有心得但不是“关心”。听一档AI栏目,可能人们更多关心的是在AI的故事里出现了谁,而非反过来谁的成长如何融入AI,尤其这个人的名字相对小众时,毕竟一期播客只有45分钟,让人认识一个本就不是特别感兴趣的陌生人,似乎容量不足。如果这是主播的个人喜好,可以用短节目加更的方式试水。这是我的一点浅见。 主播一向坚持自己的调性,我很支持。祝节目越来越好。
共3条回复