9
0在此次与 Lex Fridman 的访谈中，Yann Lecun 深入探讨 AI 相关话题。他力挺开源 AI，认为能避免少数公司掌控，激发人性善，保证多样性，对 Llama 等开源模型未来充满期待。谈及 LLMs，他指出其虽基于自监督学习取得成功，但存在局限，如缺乏关键组件，无法理解物理世界、缺持久记忆、推理规划能力弱，基于文本训练缺低层次常识、易幻觉。他建议放弃自回归生成等模型，采用联合嵌入架构等推动 AI 发展。同时，他还谈到人类对新技术的恐惧，认为 AI 会让人类更聪明，不会致大规模失业。
LLMs的局限与语言和感知的探讨
视觉系统训练的困境与联合嵌入架构
从世界模型到分层规划及对LLMs的反思
LLMs的局限与推理能力探讨
LLMs目前缺乏基于低层次常识来构建高层次常识的能力
婴儿通过观察积累的常识在文本中缺失，感官数据更丰富
训练数据仅占所有可能提示的极小部分，易引发错误
LLMs中的推理很原始，与人类推理方式不同
未来对话系统或通过优化来思考、规划答案再转化为文本
未来对话系统蓝图及相关模型方法建议
当前推理方式在离散空间优化效率低，生成大量假设再筛选浪费计算
非对比性方法通过正则化确保能量函数在其他地方能量更高
建议放弃生成式模型、自回归生成等，采用联合嵌入架构等
强化学习结合人类反馈对大语言模型有变革性影响原因探讨
针对AI系统偏见及审查问题，认为开源是答案
开源AI系统的多样性、商业模式及偏见问题
开源平台能使AI系统在多方面呈现多样性
Meta围绕提供服务构建商业模式，可通过广告或商业客户融资
大公司产品因需顾及客户，难以做到让所有人认为无偏见
开源能实现多样性，有助于解决系统观点引发分歧的问题
未来Llama系列将有改进，可能实现多模态、规划等功能
AGI的发展预测、对AI悲观论者的回应及技术类比
Yann Lecun看到实现人类水平智能的路径，对此感到兴奋
AGI不会突然实现，而是渐进发展，尚需时日
反驳AI毁灭论者，认为其假设多为错误
以涡轮喷气发动机类比，称优化AI系统就能保证安全
未来AI助手会过滤不良信息，避免AI被用作武器
对新技术的恐惧与开源平台的重要性及机器人发展探讨
人类对新技术存在天然恐惧及本能反应
开源平台可避免AI权力集中，确保多样性
未来十年类人机器人发展将很有趣但面临挑战
类人机器人发展能促进人与AI在物理空间互动
AI可让人类更聪明，是有益事物
AI对人类的影响：类比印刷术及就业市场相关思考
AI将使人类更聪明，可类比印刷术的影响
印刷术引发欧洲200年宗教冲突，有好坏两面
奥斯曼帝国禁用印刷术或为保护书法家团体
经济学家认为AI不会导致大规模失业，是职业渐变
感谢推动AI研究及模型开源，肯定其积极意义
配音由Ai生成
