1045
5📝 本期播客简介
本期我们克隆了：红杉资本旗下播客的深度对谈《Why Hardware-Software Co-Design Is AI's Real 100x: Dylan Patel of SemiAnalysis》
原内容更新时间：2026-06-30
本期嘉宾是知名半导体与AI研究机构SemiAnalysis的创始人Dylan Patel，主持人是红杉资本的合伙人Sean。Dylan从硬件论坛版主起步，如今带领团队为全球机构提供最前沿的芯片与人工智能产业分析。这期节目，他们撕开了AI领域一个常被忽视的关键杠杆——硬件与软件的协同设计，并深入探讨了这种深度整合如何带来远超单纯硬件迭代的效率飞跃。
Dylan在节目中抛出了一个核心论断：AI最大的收益不是来自更快的芯片，而是当你把模型架构、底层内核和芯片设计三层协同优化时，原本这里2倍、那里2倍的提升，会直接变成100倍。他用DeepSeek举例，解释了为什么其专家模块的形状是为英伟达Hopper架构量身定制的，也因此跑在TPU上表现拉胯。这引出了一个更深的洞察：所谓的CUDA护城河，其实从来都不是CUDA本身，而是下游模型对英伟达硬件的深度协同优化。
对话还覆盖了InferenceX的活体基准测试、太空数据中心的非共识判断、AI推理市场的终局规模，以及为什么新云厂商能在超大规模云厂商的夹缝中野蛮生长。如果你关心AI基础设施、芯片战争、模型架构演进和背后的经济账，这期节目会给你一个全新的分析框架。
👨⚕️ 本期嘉宾
Dylan Patel，SemiAnalysis创始人。SemiAnalysis是全球最具影响力的半导体与AI产业研究机构之一，客户涵盖顶级对冲基金、科技巨头和各国政府。Dylan从12岁起泡硬件论坛，后来成为Reddit多个科技板块的版主，大学毕业后做过量化分析师，2020年在个人崩溃和全球疫情中创办了SemiAnalysis。他以能把技术细节和经济账无缝结合的分析风格著称，团队约90人，一半是覆盖半导体供应链的工程师，一半是前对冲基金分析师。
⏱️ 时间戳
开场与SemiAnalysis的诞生
本期克隆节目介绍
SemiAnalysis内部的“打架”文化：工程师vs金融人
主持人Sean介绍Dylan
Dylan的成长背景：汽车旅馆、加油站与第一个“神经网络”
八岁生日与Xbox 360死亡红环：硬件的潘多拉魔盒
12岁成为Reddit版主，开始追踪芯片行业
创办SemiAnalysis的契机：奖金被坑、祖母去世、疫情崩溃
24岁生日当天，用真名发布SemiAnalysis
开着卡车跑遍全美国家公园，在30美元汽车旅馆里做研究
供应链、会议与学习曲线
行业展会vs学术会议：NeurIPS与日本化学会议的天壤之别
SPIE先进光刻会议：第一次去90%都听不懂
一种化学品烧毁，内存价格翻三倍的恐怖故事
推理市场与InferenceX
推理将是地球上最大的市场，比石油大得多
为什么启动InferenceX：静态基准测试已经死了
生态支持：5000万美元捐赠硬件，15种芯片类型
帕累托最优曲线：别拿次优配置跟最优配置比
吞吐量与交互性曲线：AI基础设施的下游总开关
成本如何纳入曲线：批量100用户每秒10 token vs 单用户每秒500 token
太空数据中心与电力预测
非共识判断：三到五年内太空数据中心没有实质影响
二十年尺度上，绝大部分算力会搬到太空
到2030年，仅OpenAI和Anthropic就会超过100吉瓦
到2040年，推理算力将进入太瓦级别
每瓦智能与三层协同优化
每瓦智能一直在提升吗？成本已降60倍，每瓦智能提升约40倍
Sean的三层框架：硬件、系统软件、模型算法
Dylan完全不同意：最大收益来自协同设计层
DeepSeek V3的专家形状是为Hopper优化的
TPU跑DeepSeek很拉胯，跑其他模型却非常出色
中国在协同优化上比西方做得好？Dylan不这么认为
真正的突破：跨三层协同优化，2倍×2倍×2倍变成100倍
技术瓶颈与供应链创新
未来一年最关注的技术瓶颈：内存带宽
直接把内存堆在芯片上，带宽会暴涨
打破每平方毫米一瓦的功率天花板
能源瓶颈的简单解法：用卡车发动机改造成天然气发电机
GPU vs TPU与CUDA护城河
Nvidia对TPU：两年后两边都是千亿美元级别
两边都有很能打的论点，但归根结底是协同设计
OpenAI用TPU可能很糟糕，Anthropic用GPU训练也可能很糟糕
矩阵乘法单元大小不同，导致模型架构根本不同
CUDA护城河已经被解开了，因为模型编程能力很强
真正的护城河不是CUDA，而是下游模型对Nvidia的优化
开源模型生态让下游使用者被绑在Nvidia上
大实验室早就fork了PyTorch，不需要依赖开源
Cerebras、经济账与AI投资回报率
Cerebras：推理速度极快，但超大模型和超长上下文是风险
Dylan的独特优势：把技术和经济账结合起来
最让Dylan上头的言论：AI没有投资回报率
模型能力曲线一直在向右上方走，看新的基准测试
十年框架与终局判断
十年框架下最兴奋的事：太空数据中心、小行星采矿
共封装光学：争论的只是27年、28年还是29年发生
Naveen Rao的长期赌注：模拟计算与基于能量的模型
生态终局：每家超大规模云厂商都会有自己的芯片
硬件架构和模型架构会出现更多分叉
通用AI算力永远有市场，因为实验室连一年后用什么架构都不知道
每家都会投入数十亿美元部署专用集成电路
数据中心建设与计算资源紧缺
我们正处在一场疯狂的计算资源紧缺之中
今年20吉瓦，明年超30吉瓦，但模型能力增长更快
Anthropic第二季度已经净利润盈利
Opus token利润率超过80%
只要毛利率是正的，就会不惜代价租GPU
计算能力建设会不会突然出问题？
如果模型能完成的工作量增速超不过算力增速，风向就会变
模型现在进步得比六个月前更快：递归式自我改进在运转
数据中心的同质性与新云厂商
沙特原油的类比：不同吉瓦之间有多大同质性？
Trainium每吉瓦不到100亿美元，GPU每吉瓦120到130亿
数据中心租赁价格从每千瓦60美元涨到120到160美元
常见的坑：项目直接失败，必须做概率加权
Google在一个吉瓦级数据中心里实际部署1.5吉瓦硬件
一个吉瓦给Anthropic产生的收入比给OpenAI更高
NeoCloud的机会与Jensen的布局
NeoCloud为什么存在？超大规模云厂商的专长在AI云里变成拖累
Nitro智能网卡对AI性能不利，安全功能在AI场景没意义
Jensen绝对讨厌超大规模云厂商掌握所有权力
他想要一个多极化的世界，所以砸钱给新实验室和新云厂商
新云生态就是蛮荒地带，有些会失败，有些会脱颖而出
Thinking Machines做到上亿美元年度经常性收入
🌟 精彩内容
💡 软硬件协同设计：2倍×2倍×2倍变成100倍
Dylan指出，AI效率提升的真正魔法不在单一层面，而在跨层协同。当模型架构、底层内核和芯片设计被当作一个整体来优化时，收益不是加法而是乘法，甚至是指数级的。这就是为什么顶尖实验室和英伟达这样的公司能持续领先。
"真正的突破性创新，是当你跨越几层去做协同优化和协同设计，突然间，本来这里2倍、那里2倍、那里2倍，不是乘起来变成8倍，而是直接100倍。"
💡 CUDA护城河从来不是CUDA本身
Dylan颠覆了行业对英伟达护城河的认知。他认为真正的锁定效应不是CUDA软件生态，而是下游模型在架构层面就为英伟达GPU做了深度优化。DeepSeek的专家模块形状是为Hopper定制的，所以跑在TPU上表现很差。这种模型层面的协同设计，才是真正的护城河。
"这其实不是CUDA在起护城河作用，而是下游产品对Nvidia优化得更好。而且这些公司还都在开源这些模型。"
💡 推理将是地球上最大的市场，比石油大得多
Dylan对AI推理市场的规模做出了大胆预测：到2030年仅OpenAI和Anthropic就会超过100吉瓦，到2040年进入太瓦级别。他认为AI推理将占到GDP的好几个百分点，成为人类历史上最大的单一市场之一。
"推理，不管是开源模型还是闭源模型，都会是世界上最大的市场之一。我觉得会比石油大得多。"
💡 别拿次优配置跟最优配置比
在解释InferenceX的帕累托最优曲线时，Dylan用一个赛车比喻点出了行业基准测试的普遍问题：人们总拿别人次优的配置来跟自己最优的配置比，这就像开保时捷跟赛车手比谁开得更慢。InferenceX要做的是为曲线上每一个点都找到真正的最优配置。
"很多时候，人们在比较推理性能时，会拿别人次优的曲线或点位，来跟自己最优的去比。这就好比，我开保时捷，跟某个赛车手比，肯定是我开得更慢。"
💡 模型进步没有停滞，递归式自我改进正在加速
面对"模型能力即将停滞"的论调，Dylan给出了一个令人兴奋的观察：工程师们正在用模型来帮助编写代码、加速推出下一代模型，形成了一个类似递归自我改进的循环。模型现在进步得比六个月前更快。
"模型现在进步得比六个月前或一年前更快，因为你看到的是一个类似递归自我改进的循环在运转，模型变得更好、更快。"
💡 Jensen想要一个多极化的世界
Dylan揭示了英伟达CEO黄仁勋的深层战略逻辑：他砸钱给新实验室和新云厂商，不是因为短期利润，而是为了防止一个只有OpenAI、Anthropic和Google模型的世界出现。一个多极化的AI生态，对英伟达来说才是长期安全牌。
"一个只有OpenAI、Anthropic和Google模型的世界，对他来说是死路一条。一个只有超大规模云厂商在建设算力的世界，对他也是死路一条。"
💡 别跟猪摔跤，因为猪也乐在其中
当Sean问Dylan是否享受SemiAnalysis内部工程师和金融人之间的激烈争论时，Dylan用这句谚语幽默地承认了自己乐在其中。这也完美概括了他从论坛版主到行业顶尖分析师的一贯风格：享受争论，享受把技术和经济账放在一起碰撞的过程。
"别跟猪摔跤，因为猪也乐在其中，对吧？"
```
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺；
如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight
