AI下一帧 EP035 | PD分离：从"过度工程"到NVIDIA All-in

你的 H100 满载跑推理，算力利用率只有 5%——为什么？

2024 年初一篇论文给了答案：GPU 在同时做两件互相拖累的事。解法很简单——拆开。社区的反应？"脱裤子放屁。" vLLM 官方文档直接写"不提升吞吐"。

18 个月后，NVIDIA 把下一代芯片的硬件路线图改了。

这期我从 Roofline Model 的物理原理讲起，拆解 Prefill 和 Decode 为什么不能混跑、DeepSeek 的 1:4.5 配比背后的经济账、Kimi 的 KV Cache 调度创新、Splitwise 那个"砍半功耗延迟不变"的惊人实验，一直讲到 NVIDIA Rubin 芯片为什么敢放弃 HBM 改用 GDDR7。最后给你一个频谱框架——从单卡混跑到异构硬件分离，帮你判断自己该站在哪个位置。

适合：做推理平台的 infra 工程师、关注 GPU 成本的技术负责人、想搞懂"为什么推理这么贵"的产品经理。

=====================================

时间轴

00:02 开场
01:17 新的想法
03:06 一块 GPU 上的博弈
06:12 Roofline Model：用数字说话
10:57 互相拖累
13:47 DistServe：一道简单的除法题和一道困难的传输题
18:49 社区为什么不买账
21:32 暗处的先行者：DeepSeek 的 1:4.5 配比意味着什么
24:58 Kimi 的 Mooncake：不是"怎么传"，而是"往哪传"
27:03 Splitwise 的惊人发现：Decode GPU 砍半功耗照样跑
29:12 2025 年初：从"先行者的秘密"变成"所有人的标配"
33:54 软件思想倒逼硬件设计：Rubin CPX 的逻辑
37:44 什么时候不该分，什么时候必须分
41:08 收尾：正确的想法，只需要等它的基础设施
43:21 片尾曲

suno 歌曲链接：suno.com

=====================================

参考链接：

• DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving (OSDI 2024)

• Splitwise: Efficient Generative LLM Inference Using Phase Splitting (ISCA 2024)

• Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving (FAST 2025)

• Sarathi-Serve: Taming Throughput-Latency Tradeoff in LLM Inference (OSDI 2024)

• TaiChi: Prefill-Decode Aggregation or Disaggregation? (Huawei Cloud + CUHK, 2025)

• Nexus: Proactive Intra-GPU Disaggregation of Prefill and Decode (2025)

• DeepSeek Open Infra Index (2025.02 开源周)

• NVIDIA Dynamo - Datacenter Scale Distributed Inference Framework

• NVIDIA Dynamo 官方页面

• vLLM Disaggregated Prefill Documentation

• SGLang: Deploying DeepSeek with PD Disaggregation on 96 H100 GPUs (LMSYS, 2025.05)

• SPAD: Specialized Prefill and Decode Hardware for Disaggregated LLM Inference (Princeton + UW, 2025)

• Perplexity AI: Disaggregated Prefill and Decode

=====================================

前游戏开发者，现海外云厂商架构师 [反向弯曲] 主理的 [AI×游戏] 播客！
帮助互联网｜游戏从业人员
拆解全球游戏 AI 前沿动态，深挖技术落地干货。
让你轻松拿捏行业脉搏，预判 AI + 游戏的 "下一帧"。
对未来好奇？速戳订阅！
小红书b站同名：反向弯曲