一个博士生的课堂项目,凭什么打败了英伟达?
2023年春天,伯克利一个爆款聊天 demo 流量炸了,后端眼看要崩。几个博士生把一个还没公开的东西临时顶上去救场——扛住五倍流量、GPU 砍一半。大半年后才补写成论文。这个救火队员,就是今天全世界跑大模型的默认底座:vLLM。
这期我们追一个反直觉的问题:一个学生的开源项目,凭什么打败了英伟达官方的推理引擎,成了所有人脚下的地基?答案要剥三层——它的护城河根本不是技术(跑分它甚至不是第一),而是抢先变成了接口标准;它能抢先,是因为最有资格的英伟达,出于卖卡的生意逻辑压根不想赢,还顺手把所有想摆脱锁定的客户都送了过来。我们把 PagedAttention、连续批处理用游戏里的刷怪波次和对象池讲清楚,拆开"推理引擎=AI时代收费站"这盘大棋,最后聊聊这个收费站正从训练端悄悄挪到推理端,意味着什么。
适合每一个在 AI 牌桌上,总觉得自己"不够顶尖"的人听。

想听更多 AI 行业深度分析?欢迎在小宇宙搜索「AI下一帧」,每周日早上8点更新。
想聊的欢迎留言,或发邮件给主播:5155280@qq.com
=====================================
时间轴
00:00 开场
01:58 vLLM:先有危机,后有论文
05:49 天天用 vLLM,却没想过为什么
08:40 为什么推理这层这么值钱
12:21 它凭什么快又省:PagedAttention
13:59 它凭什么快又省:连续批处理
21:32 它的护城河,根本不是技术
26:27 英伟达,根本不想赢这场
29:42 英伟达想解也解不开的死结
32:56 它会一直赢下去吗?
37:44 片尾曲《墙根》
=====================================
参考链接:
vLLM 官方 · 起源与技术
vLLM 首发博客(PagedAttention / 24倍 / LMSYS 实战)
blog.vllm.ai
PagedAttention 论文(SOSP 2023)
arxiv.org
vLLM V1 架构重构发布博客
blog.vllm.ai
vLLM 2024 年度回顾 · 2025 展望
blog.vllm.ai
vLLM GitHub 仓库
github.com
连续批处理 · 性能数据
Anyscale:连续批处理第三方实测(8倍/23倍)
www.anyscale.com
Orca:iteration-level 调度起源(OSDI 2022)
www.usenix.org
BentoML:推理引擎中立横评
www.bentoml.com
英伟达为何给对手贡献代码
vLLM × OpenAI gpt-oss 三方适配(含英伟达 Blackwell 内核)
blog.vllm.ai
治理与商业化
PyTorch 基金会托管 vLLM
pytorch.org
Red Hat 收购 Neural Magic
www.redhat.com
Inferact 融资 1.5 亿美元商业化 vLLM
techcrunch.com
同门师弟 · SGLang
SGLang 与 RadixAttention
lmsys.org
SGLang v0.4(Agent/高并发优化)
lmsys.org
=====================================
前游戏开发者,现海外云厂商架构师 [反向弯曲] 主理的 [AI×游戏] 播客!
帮助互联网|游戏从业人员
拆解全球游戏 AI 前沿动态,深挖技术落地干货。
让你轻松拿捏行业脉搏,预判 AI + 游戏的 "下一帧"。
对未来好奇?速戳订阅!
小红书b站同名:反向弯曲


此前我开发的一个产品最近也被拿去复刻了。这个产品本身有一定复杂度,AI复制品出现了大大小小的可见问题,后续产品根据用户意见的升级也显得有些乏力,但它以免费的姿态出现,多少对我有些影响。
复盘这个软件的成长过程以及用户的反应,我的体感是所谓的市场抢占在小圈子里成立与否存疑,工程行业下行人们越来越价格敏感,所谓的品位、交互便捷性、产品稳定性都成了可以商量的东西,大多数人对使用频次没那么高的软件是很宽容的,当软件免费时尤其如此。但工程行业再出现一个霸道如CAD的软件几乎不现实。这种情况下,主播觉得下一个点要站在哪里?刷怪式地也驱动AI开发各种小产品线占住视野?还是坚持所谓的品质品位路线等待有缘人付费?这个问题不知会不会太重,我的圈子里做开发的不多,就当和主播简单探讨吧,感谢。