#776. 中国的模型真的只是靠蒸馏追赶吗?

#776. 中国的模型真的只是靠蒸馏追赶吗?

53分钟 ·
播放数306
·
评论数0

📝 本期播客简介

本期我们克隆了:a16z · Can Open Models Keep Up With OpenAI and Anthropic? | Nathan Lambert

原内容更新时间:2026-10-14

中国的模型实验室,真的只是靠蒸馏追赶吗?AI 研究员 Nathan Lambert 认为,中国人才水平并不逊色,最大的差别是算力;但蒸馏究竟能缩小多少差距,现有公开研究还不足以给出简单答案。

a16z 合伙人 Lisha Li 与 Nathan Lambert 从算力、数据、人才谈到开放模型与闭源前沿实验室的竞争:为什么开放模型追赶得上、却需要更长时间;高质量数据和强化学习环境如何推动进步;以及开源研究能否让递归自我改进不再神秘。最后,他们也谈到,相比能力曲线本身,社会对网络安全等风险准备不足更让人担心。

👤 本期嘉宾

Nathan Lambert 是 AI 研究员,也是非营利研究实验室 Trillium 的创办者。他曾在 AI2 参与后训练研究,并长期面向公众解释开放模型、后训练与 AI 研究进展;他对开放模型研究和训练方法的实践经验,让他能从技术和产业两方面拆解前沿差距。

⏱️ 时间戳

01:07 前沿竞争与蒸馏

16:57 市场节奏与数据

28:02 建设开放研究基础

45:05 Agent扩展与风险

🌟 精彩内容

💡 中国模型差的不是人才

中国实验室人才储备与美国相当,最明显的短板是算力。一位中国顶尖预训练研究员听说,OpenAI 普通研究员随时能调用相当于 5000 张 H100 的算力,惊讶得难以想象。

"要说中国的人才水平不在同一个档次,你很难说得通。"

💡 蒸馏不是追赶的万能解释

过去拿强模型回答做监督微调,确实能提升性能;但今天的推理训练更依赖强化学习环境。公开研究还没能证明,蒸馏是开放模型进步的主要原因。

"但根据这些证据,我不知道怎么能得出别的结论:蒸馏在当前后训练中的作用并没有那么大。"

💡 前沿模型的进步,很多来自数据

数学、编程等结果容易验证;生物、医疗、法律等领域则更需要高质量数据和能让模型反复尝试的环境。为特定领域制作数据集、定义模型该有的表现,正在成为实验室的重要工作。

"但实际上,可能两方面都有一点,不过很大一部分还是归结于数据。"

💡 开放环境,让 RSI 不再神秘

Trillium 计划公开训练工具、任务和模型执行轨迹,让外界看到模型做了什么、卡在哪里。这样研究者和政策制定者不必只凭猜测判断 AI 自动化研究的进展。

"能公开自动化进展的人,就应该这样做。"

💡 真正让人担心的是社会准备不足

模型能力增长未必会突然失控,但网络安全等领域几乎没有做好准备。Nathan 认为,风险已经存在,也会继续扩散;社会需要更多研究和更多人参与,才能了解正在发生什么。

"AI 能力的增长曲线本身,不一定让我担心。"

🌐 播客信息补充

本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的

使用 AI 进行翻译,因此可能会有一些地方不通顺