565
0📝 本期播客简介
本期我们克隆了：知名科技播客《The MAD Podcast with Matt Turck》Why NVIDIA Is Giving Away AI Models | Bryan Catanzaro
原内容更新时间：2026-07-02
本期嘉宾是 NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro，主持人是风险投资家 Matt Turck。Bryan 是 AI 基础设施领域真正的幕后关键人物，他参与创建了 cuDNN，共同发明了 DLSS，并主导了 Nemotron 开源模型家族。这期节目围绕一个核心矛盾展开：NVIDIA 作为一家芯片公司，为什么要投入巨资构建前沿 AI 模型，然后免费开放给全世界？
对话深入探讨了开源 AI 的现状、中美之间的技术竞赛，以及 Nemotron 模型背后的架构创新。Bryan 详细拆解了混合 Mamba-Transformer 架构、混合专家（MOE）、多 token 预测和多教师蒸馏等硬核技术，并分享了 NVIDIA 内部如何组织数百名研究员高效协作，而不是各自为战写一百篇论文。如果你关心 AI 模型效率、开源生态的未来，以及大型研究机构的运作方式，这期节目会提供非常扎实的一手信息。
👨⚕️ 本期嘉宾
Bryan Catanzaro，NVIDIA 应用深度学习研究副总裁。他 2008 年加入 NVIDIA，是早期将 GPU 用于深度学习的先驱之一，曾参与创建 cuDNN（NVIDIA 首个深度学习产品库），共同发明了实时 AI 图形技术 DLSS，并主导了 Megatron 项目——帮助整个行业搞清楚了如何训练超大规模语言模型。他曾在百度硅谷 AI 实验室与吴恩达、Dario Amodei 共事，目前领导 Nemotron 开源基础模型家族。
⏱️ 时间戳
开场与开源 AI 现状
本期克隆节目介绍
主持人 Matt Turck 开场，介绍嘉宾 Bryan Catanzaro
开源 AI 势头正猛，Nemotron 3 Ultra 刚发布
闭源与开源之间的差距现在有多大？
整个 AI 社区都在飞速前进，差距不是最重要的
推动开源 AI 持续进步的动力是什么？
开源模型的进步是否依赖蒸馏闭源模型？
如何看待中国 AI 社区的贡献与创新？
客户使用开源模型最根本的优势：定制化与数据安全
Bryan 的个人经历与 NVIDIA 的 AI 之路
Bryan 的职业生涯起点：2008 年加入 NVIDIA
早期用 GPU 做 AI 被学术界视为异类
从 Copperhead 到 cuDNN 的诞生
加入百度硅谷 AI 实验室，与吴恩达、Dario Amodei 共事
回忆 Dario Amodei：信念的力量与对时机的精准把握
2016 年重返 NVIDIA，黄仁勋亲自打电话邀请
第一个项目 DLSS：用 AI 生成游戏画面中 96% 的像素
2017 年启动 Megatron 项目，押注 Transformer
Nemotron 的使命与架构创新
NVIDIA 为什么要构建自己的前沿模型家族？
Nemotron 的第一个任务：理解如何构建未来的系统
Nemotron 的第二个任务：支持整个 AI 生态
摩尔定律已死，加速计算比以往更有价值
Nemotron 项目的发展历程与关键节点
Nemotron Coalition 联盟：在模型构建之前就与合作伙伴协作
Nemotron 家族：Nano、Super、Ultra 的定位与用例
Nemotron 的核心目标：打造最强的 Agent 推理模型
Nemotron 的效率哲学：用 4 位精度进行预训练
4 位与 16 位精度的区别，以及为什么效率决定智能上限
深入技术架构
混合 Mamba-Transformer 架构：状态空间模型与注意力机制的结合
混合专家（MOE）架构解析：让模型学会“按需查阅”
MOE 对硬件设计的影响：NVL72 的诞生逻辑
隐式 MOE：通过降维投影节省通信带宽
MOE 是否已成为前沿 AI 的默认架构？
100 万 token 长上下文窗口的意义
上下文压缩与 Agent 工作流
多 token 预测：如何在不损失准确率的情况下实现 4 倍加速
多教师蒸馏：用多个专家模型联合训练一个全能学生模型
大型研究机构的组织与协作
多教师蒸馏既是技术问题，也是人员组织问题
Post-training 与强化学习的数据从何而来？
AI 泛化的下一步：从编程、数学走向更复杂的领域
NVIDIA 的研究组织架构：任务是老板，不是组织架构图
Nemotron 名字的由来：NeMo 与 Megatron 团队的融合
如何让 500 人高效协作：内部想法分享与评估流程
GPU 算力如何分配？两周一次的预算审核周期
如何平衡有用的研究与探索性研究：研究需要“自举”
NVIDIA 的登月项目是自下而上还是自上而下？
NVIDIA 为何在巨大成功后仍保持创业精神？
AI 的未来、安全与人类命运
Bryan 为什么不认同奇点理论？
智能的维度太多，纯粹智能只是没有轮子的发动机
AI 将解锁巨大能力，但转型对人类社会是深刻挑战
外部大脑的隐喻：厨房是我们的外部胃，AI 是外部大脑
如何看待公众对 AI 的抵制情绪？
AI 安全：为什么 Bryan 认为开放技术天生更安全？
多元主义比单一文化更安全：从信仰自由到 AI 开放的类比
🌟 精彩内容
💡 智能的价值太高，我们注定会在极限上运行
Bryan 指出，无论极限是经济预算还是电力供应，每个组织都会把算力推到极限，因为智能的回报太大了。这意味着获得更多智能的唯一途径不是堆更多资源，而是提高效率。
“如果你接受我们会在极限上运行这个前提，那意味着要获得更多智能，就得提高效率。如果已经在极限上了，靠加力是得不到更多智能的。”
💡 厨房是外部胃，AI 是外部大脑
他用一个极具画面感的比喻解释 AI 对人类文明的意义：人类发明厨房作为外部胃来加工食物，这催生了农业和有组织的社会。现在我们在创造外部大脑，其影响将同样深远，但没人真正知道答案。
“我们造工具，造外部器官来帮我们解决问题。我们有外部胃，叫厨房。现在我们正在创造外部大脑。外部大脑意味着什么？影响相当深远，其实没人真正知道。”
💡 纯粹智能只是没有轮子的发动机
Bryan 不认同奇点理论，因为智能的维度太多。国际数学奥林匹克冠军未必能当好 CEO，音乐人的智能可能是 PhD 理解不了的。智能的影响力取决于它被放在什么环境里。
“纯粹的智能有点像发动机的马力，但一台没有轮子的发动机，光在那转，哪儿也去不了。”
💡 任务是老板，不是组织架构
NVIDIA 内部有大约 10 个团队深度参与 Nemotron 的构建，分布在从 GPU 设计到企业软件的不同部门。协作方式不是靠层级命令，而是靠共同的任务目标把大家凝聚起来。
“我们总喜欢说，任务是老板，而不是组织架构。但这意味着，大家必须自己摸索出协作的方式，这很有挑战性，因为人类天生就是部落动物。”
💡 研究需要自举，而不是等资源到位
每个研究员都相信只要给自己 1000 倍 GPU 就能改变世界，但资源永远有限。Bryan 的解决哲学是“自举”：先做小的实验拿到信号，再一点点争取更多资源，通过快速迭代滚雪球。
“解决鸡和蛋问题的方法就是自举。这是一种迭代式的问题解决方法，你先做点小的，拿到某种信号表明这是个好 idea，然后告诉别人。接着你再多要一点点资源。”
💡 开放技术天生更安全，因为阳光更充足
在 AI 安全的争议中，Bryan 持一个不那么正统的观点：让更多人参与评估和贡献安全方案，比让一小群人替所有人负责安全更可靠。他引用了几百年来关于信仰自由和言论自由的历史教训。
“我认为开放技术通常更安全，因为阳光更充足。当有更多人思考一项技术的安全性、评估它，并为让它更安全做出贡献时，我觉得这天生就比让一小群人替所有人负责安全要更安全。”
💡 中国 AI 社区的开放对世界是件非常好的事
基于在百度工作的亲身经历，Bryan 驳斥了“中国 AI 进展全靠山寨”的刻板印象。他特别感谢中国同行多年来对开源生态的贡献，并鼓励其他地区的实验室也保持这种开放精神。
“中国 AI 社区对他们所构建的东西如此开放，这对世界来说是件非常好的事。我认为这让大量公司得以构建出没有那个社区就做不出来的东西，也推动了整个 AI 生态系统的技术进步。”
```
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺；
如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight
