📝 本期播客简介
本期我们克隆了:a16z · Can Open Models Keep Up With OpenAI and Anthropic? | Nathan Lambert
原内容更新时间:2026-10-14
中国的模型实验室,真的只是靠蒸馏追赶吗?AI 研究员 Nathan Lambert 认为,中国人才水平并不逊色,最大的差别是算力;但蒸馏究竟能缩小多少差距,现有公开研究还不足以给出简单答案。
a16z 合伙人 Lisha Li 与 Nathan Lambert 从算力、数据、人才谈到开放模型与闭源前沿实验室的竞争:为什么开放模型追赶得上、却需要更长时间;高质量数据和强化学习环境如何推动进步;以及开源研究能否让递归自我改进不再神秘。最后,他们也谈到,相比能力曲线本身,社会对网络安全等风险准备不足更让人担心。
👤 本期嘉宾
Nathan Lambert 是 AI 研究员,也是非营利研究实验室 Trillium 的创办者。他曾在 AI2 参与后训练研究,并长期面向公众解释开放模型、后训练与 AI 研究进展;他对开放模型研究和训练方法的实践经验,让他能从技术和产业两方面拆解前沿差距。
⏱️ 时间戳
01:07 前沿竞争与蒸馏
16:57 市场节奏与数据
28:02 建设开放研究基础
45:05 Agent扩展与风险
🌟 精彩内容
💡 中国模型差的不是人才
中国实验室人才储备与美国相当,最明显的短板是算力。一位中国顶尖预训练研究员听说,OpenAI 普通研究员随时能调用相当于 5000 张 H100 的算力,惊讶得难以想象。
"要说中国的人才水平不在同一个档次,你很难说得通。"
💡 蒸馏不是追赶的万能解释
过去拿强模型回答做监督微调,确实能提升性能;但今天的推理训练更依赖强化学习环境。公开研究还没能证明,蒸馏是开放模型进步的主要原因。
"但根据这些证据,我不知道怎么能得出别的结论:蒸馏在当前后训练中的作用并没有那么大。"
💡 前沿模型的进步,很多来自数据
数学、编程等结果容易验证;生物、医疗、法律等领域则更需要高质量数据和能让模型反复尝试的环境。为特定领域制作数据集、定义模型该有的表现,正在成为实验室的重要工作。
"但实际上,可能两方面都有一点,不过很大一部分还是归结于数据。"
💡 开放环境,让 RSI 不再神秘
Trillium 计划公开训练工具、任务和模型执行轨迹,让外界看到模型做了什么、卡在哪里。这样研究者和政策制定者不必只凭猜测判断 AI 自动化研究的进展。
"能公开自动化进展的人,就应该这样做。"
💡 真正让人担心的是社会准备不足
模型能力增长未必会突然失控,但网络安全等领域几乎没有做好准备。Nathan 认为,风险已经存在,也会继续扩散;社会需要更多研究和更多人参与,才能了解正在发生什么。
"AI 能力的增长曲线本身,不一定让我担心。"
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的
使用 AI 进行翻译,因此可能会有一些地方不通顺
