42
2本文是 Lex Fridman 与 Yann LeCun 的对话，围绕自监督学习与人工智能展开深入探讨。Yann LeCun 认为自监督学习是实现智能的关键，虽在自然语言处理成果显著，但图像和视频领域有待突破。两人探讨智能本质，包括先天与后天因素、大脑学习机制等，提及数据增强等技术及多模态、多任务学习。还涉及人工智能伦理问题，回顾 AI 技术发展历程，探讨意识、情感等话题。此外，谈及 Facebook AI 研究小组、元宇宙，为 Facebook（Meta）辩护，介绍被拒论文等。最后，强调学术论文评价体系创新，鼓励年轻人用 AI 解决重大问题 。
自监督学习：智能的暗物质
自监督学习尝试重现人类通过观察构建世界模型的学习方式
自监督学习设定下信号比监督学习和强化学习更多
自监督学习在自然语言处理中极为成功，图像领域有进展但视频不行
预测视频后续发展有诸多可能，如何表示不确定性是问题
针对‘自监督学习只是统计而非智能’批评，认为此讨论无意义
机器学习的挑战与智能本质探讨
机器学习有三大挑战：世界表征、推理及分层表征动作计划
AI未来十年大挑战：让机器学习处理不确定性的世界预测模型
人类的复杂性使世界模型更复杂，可类比下棋
探讨大脑学习是否通过优化目标函数及梯度估计实现
形成背景模型能力是智能暗物质，探讨所需知识量
解决智能问题的方法及数据处理技术
探讨如何用少量示例数据解决MNIST问题
讲述自监督学习训练神经网络及转移学习
介绍避免网络输出趋同的对比学习方法
提出Barlow Twins及VICReg等非对比方法
认为实现真正AI需从视觉等获取信息
智能、自监督学习与数据相关探讨
当下人们在自监督学习方面的两大研究方向
通过加权实现无显式数据增强的数据增强方式
以特斯拉自动驾驶团队为例探讨多任务学习
数据集与GPU的变化推动AI技术变革
对自监督学习需系统与世界交互的看法探讨
意识、学习与智能机器相关思考
意识可能是配置世界模型的模块，源于大脑局限性
很多被认为先天的东西其实容易学习，如边缘探测器
人类核心动机之一是对死亡的恐惧，影响文明创造
思考对AI和机器人来说，意识到死亡作为动机的重要性
智能自主机器会有情感，情感是自主智能的一部分
AI系统与人类的关系及伦理思考
AI系统应融入人类社会，复制或克隆可能违法
擦除智能机器人记忆以保护隐私是伦理问题
机器终将在各领域超越人类智能，但需很长时间
FAIR同时推进研究与技术，对Meta影响重大
Yann LeCun为Meta辩护，称媒体描述与事实不符
Facebook（Meta）相关探讨与论文评审话题
Yann LeCun认为美国极化非Facebook或社交媒体所致
Mark Zuckerberg在AI创建前后投入大量精力学习
Yann LeCun因新算法改变对处理多模态方式的看法
论文被拒原因是与前身Barbie Twins差异不足
Yann LeCun认为论文应由数千人评审
学术评价、复杂系统与个人爱好
当前学术评价方式以牺牲科学进步为代价追求公平
Heinz von Foerster有关自组织系统的研究令人着迷
通过图像示例说明复杂性因观测角度而异
因对现有电子吹奏乐器表现力不满，想自制乐器
建议年轻人用AI解决大问题，如利用深度学习解决气候变化
AI助力科学研究与应对气候变化
谷歌团队将科学问题转化为可学习问题，探索AI应用
AI可解决交通碳排放问题，助力医学等领域
石墨烯层扭转成超导体，机器学习或可揭示原因
训练卷积网络预测固体空气动力学特性并优化
强调技术需在复杂人类世界应用，表达感谢
配音由AI生成
