790
1📝 本期播客简介
本期我们克隆了硅谷硬核科技播客《Dwarkesh Patel》How GPT-5, Claude, and Gemini are actually trained and served – Reiner Pope
嘉宾 Reiner Pope 是芯片初创公司 Maddox 的 CEO，更早之前曾在谷歌负责 TPU 架构设计。整期节目采用“黑板讲座”的形式，Reiner 从最基础的 roofline 模型出发，一步步推导出批次大小如何影响大模型推理的延迟与成本，揭示了“内存墙”为什么是上下文长度的真正枷锁。他还结合 Gemini、DeepSeek 等前沿模型的公开定价，反向推算出隐藏的技术架构，甚至连 KV 缓存存储在哪一层内存都能猜出来。对话后半段更跨界到密码学，探讨神经网络与密码协议在结构上的惊人相似。这是一堂 AI 基础设施的实战大师课，听完你会对“为什么 API 定价是这样”“为什么模型扩展变慢了”这些问题豁然开朗。
👨⚕️ 本期嘉宾
Reiner Pope，AI 芯片公司 Maddox 的创始人兼 CEO，曾在谷歌领导 TPU 架构设计，对分布式训练、推理系统和芯片设计有极其深厚的工程与研究积淀。他还是《Scaling》一书的作者。
⏱️ 时间戳
开场与技术形式
Yikai 开场及节目介绍
Dwarkesh 介绍嘉宾与“黑板讲座”设置
Roofline 模型与批次大小的艺术
为什么要从“批次大小”开始？它对延迟和成本的决定性影响
批处理为什么能节省上千倍成本？
一张延迟图看懂内存时间与计算时间的平衡
稀疏注意力与最优批次大小的代数推导
单用户推理为什么贵？成本曲线揭示的无穷大起点
最优批次大小≈300×稀疏度，一个跨硬件稳定的常数
推理引擎的“火车模型”：每 20 毫秒固定发车
从每秒 12.8 万 token 反推前沿模型的多大用户量
增加稀疏度划算吗？《路由语言模型统一法则》告诉你答案
模型架构与硬件拓扑
混合专家层如何分片到 GPU 机架上
机架内的 NVLink 高速网络与机架间慢八倍的“瓶颈”
为什么 GPT‑4 之后模型规模扩展变慢了？不是计算，是内存容量在等机架
流水线并行真的省了内存吗？通信模式的代数拆解
流水线气泡：训练中的微批次权衡与推理中的“不费脑”设计
内存墙、过度训练与规模法则
内存容量真的过剩吗？为何大家还在砸钱买 HBM？
为什么流水线并行对 KV 缓存无效？内存容量的死结
过度训练 100 倍？从 Chinchilla 最优到真实世界的偏离
预训练、强化学习与推理 token 的最优成本分配
惊人反推：预训练数据量其实约等于模型整个生命周期的推理 token 数
从 API 定价反推技术架构
Gemini 长上下文加价 50%的硬件解释
价格如何泄露秘密：每个 token 的字节数、KV 缓存大小都能算出来
输出 token 为什么比输入贵 5 倍？解码与预填充的内存带宽真相
KV 缓存命中便宜 10 倍：HBM、DDR 与机械硬盘的角色分配
5 分钟 vs 1 小时：定价时长正好对应闪存与机械硬盘的“排空时间”
交叉学科火花
神经网络与密码学：同样的“混合”结构，相反的训练目标
对抗攻击与后门：神经网络里的“雪崩效应”
从密码学借来的可逆网络：用计算换内存，反向传播不用存激活值
结尾
结语与致谢
🌟 精彩内容
💡 “火车模型”：理解推理延迟的钥匙
Reiner 把大模型推理比作固定时刻表的火车：每 20 毫秒发车一次，能上多少用户就上多少。这直接解释了为什么多付钱可以得到更快流式输出的“快速模式”，以及为什么存在“慢速模式”都无法突破的成本下限。
🛠️ 内存墙：限制上下文长度的真正元凶
“内存墙没有真正的解决方案”，Reiner 直言。通过 roofline 分析，他展示了为什么超出 20 万 token 左右后成本会急剧上升——不是因为算力不够，而是因为内存带宽被 KV 缓存吃满。这也是 Gemini 等模型长上下文定价加价 50%的根本原因。
🚀 用公开价格反推绝密架构
Reiner 现场演示了如何通过 API 每百万 token 的定价，推导出模型中每 token 的 KV 缓存字节数（约 2KB）、注意力头的维度，甚至推断出缓存是放在 HBM、DDR 还是机械硬盘里。一堂震撼的技术情报分析课。
💻 批次大小：从千倍成本差到硬件常数
如果不做批处理，单用户推理的成本可能比批处理高上千倍。而最优批次大小竟然可以通过一个简单的硬件常数（算力 / 内存带宽）乘以模型稀疏度直接估算出来，这个常数在不同 GPU 世代间保持惊人稳定。
❤️ 密码学与神经网络：同构的两面
神经网络通过梯度下降学习结构，密码学却拼命制造随机性的“雪崩效应”。Reiner 指出，这恰恰是同一个混合架构的两个极端用途，而可逆网络正是从密码学中借来、用于节省训练内存的巧妙设计。
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺；
如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight
