54
0📝 本期播客简介
本期我们克隆了：Eye On A.I. · Chat GPT's Creator Explains The Shocking Truth About How AI Understands the World | Ilya Sutskever
原内容更新时间：Fri, 09 Oct 2026
语言模型只是学会了文字里的统计规律，还是已经在理解文字背后的世界？Ilya Sutskever 的回答是：要把数据预测好、压缩好，模型就需要越来越了解产生这些数据的世界。
这场对话录制于 Ilya 还在 OpenAI 担任首席科学家的时期。他从深度学习和 GPT 的发展讲起，解释模型为什么会产生幻觉：预训练让它学到丰富的世界知识，但并不直接保证输出准确；人类反馈强化学习则负责纠正输出。他还谈到多模态学习、如何让模型用更少数据学得更快，以及 AI 可能怎样帮助公民更直接地表达对公共事务的期待。
👤 本期嘉宾
Ilya Sutskever，Safe Superintelligence Inc. 联合创始人、首席科学家，曾任 OpenAI 首席科学家，也是 GPT-3、GPT-4 背后的主要研究者之一。他从 17 岁起便与 Geoff Hinton 合作研究机器学习，参与推动深度学习发展，对神经网络如何学习、语言模型的能力与局限都有长期研究经历。
⏱️ 时间戳
从意识问题到深度学习
01:24 意识问题让他走进 AI
01:59 2003 年，计算机能学习还不被看好
04:12 大型深度网络为何可能成功
GPT与规模效应
06:17 OpenAI 早期探索预测下一个词
07:35 Transformer 论文发表次日就转向
08:51 《苦涩的教训》把规模效应说得太满
语言模型的理解与幻觉
11:47 他不同意模型只是学统计规律
12:25 预测得好，最终需要理解生成过程
15:17 预训练不保证输出准确
可靠模型与AI的未来
26:19 让模型更可靠、更可控
31:20 AI或能汇总公民更多意见
🌟 精彩内容
💡 预测文字，也是在学习世界
要把文字预测得足够好，模型就必须逐渐理解产生这些文字的真实过程。Ilya 认为，模型理解的不只是文字本身，也是文字所投射出来的世界。
"要把数据预测好、压缩好，就需要越来越了解产生这些数据的世界。"
💡 学到了世界，不等于答得准确
预训练让模型形成关于世界的丰富表征，却没有直接训练它给出符合期待的答案。ChatGPT 还要经过基于人类反馈的强化学习，学习哪些输出不合适、下次该怎样调整。
"语言模型更擅长学习、了解世界，对各种想法、概念、人，还有现实中存在的过程，学到非常出色的表征。"
💡 他认为幻觉有机会被彻底解决
模型编造事实，限制了实际用途。Ilya 认为，让用户的反应反馈给模型、再改进强化学习过程，或许能教会模型不产生幻觉。
"这种方法有相当大的机会彻底解决幻觉问题。"
💡 只靠文字，模型也能学颜色关系
模型从文字中学到颜色之间的相似程度：紫色更接近蓝色，而不是红色。视觉能让这种学习更快，但 Ilya 不认为视觉是理解世界的必需条件。
"紫色跟蓝色更像，跟红色没那么像。"
💡 AI可能让民主听见更多人的意见
Ilya 想象，公民可以向神经网络提供信息，表达希望事情变成什么样，再由系统汇总这些意见。这可能形成一种传递大量信息的民主形式，而不只靠投票表达偏好。
"这也许可以成为一种能传递大量信息的民主形式，从每个公民那里获取多得多的信息。"
🌐 播客信息补充
本播客采用原有人声声线进行播客音频制作，也可能会有一些地方听起来怪怪的
使用 AI 进行翻译，因此可能会有一些地方不通顺
如果有后续想要听中文版的其他外文播客，也欢迎联系微信：iEvenight
