24
0《拐点：站在 AI 颠覆世界的前夜》
作者：万维钢
出版社：台海出版社
出版时间：2024年4月
【要点概括】
本次播客围绕万维纲所著《拐点：站在AI颠覆世界的前夜》展开，深入探讨了AI这一新智能形态，要点如下：
AI的本质与特点
- AI代表不同于人类习惯的新智能，如通过大量数据学习找规律，像在发现新抗生素、AlphaGo下棋中展现出不同于人类的思路。
- 核心原理是神经网络，学习方式有监督学习、无监督学习和强化学习。
- GPT主要通过预训练掌握语言规律，利用Transformer架构的自注意力机制理解词语关系和上下文，具备生成式能力。
AI能力的来源
- 开悟和涌现：当模型规模（参数数量和训练数据量）达到一定程度，会出现开悟（从死记硬背到能理解和生成新内容）和涌现（突然出现意想不到的高级能力）现象。
- 思维链：让模型先自言自语说出思考步骤可提高回答准确率，这可能是从训练中的文本学习而来。
- 多模态：未来AI将综合处理文字、图像、声音、视频等信息。
AI的局限
- 不擅长精确计算和复杂算法，核心机制是预测下一个词，在处理需要精确计算的任务时易出错。
- 难以跳出学习过的语料空间去发现全新的、需与物理世界直接交互验证的真理。
AI对语义的理解
- AI可能在高维空间构建语义向量空间，通过Transformer架构自动调整词的位置，捕捉语言使用中的结构和关系。
- 反驳AI只是鹦鹉学舌的观点，认为多模态AI整合多种信息，且掌握词语概念关系并能运用的能力可视为一种理解。
相关问题探讨
- 训练数据版权：存在争议，AI公司认为属于合理使用或转换性使用，但尚无定论。
GPT知识更新：基本不能实时更新，可通过微调或临时搜索获取新信息。 - 野生问题和驯化问题：AI处理的是驯化问题，基于统计规律和模式匹配；人类生活中有很多野生问题，涉及价值观、情感体验等，AI无法替代人类决策和体验。
- AI用于科学发现：有创造力，可辅助科研，但无法完全替代，因无法直接进行物理实验。
AI对社会的影响
- 目前AI对生产力提升不明显，遵循通用目的技术的发展规律，分点方案解决、应用方案解决和系统方案解决三个阶段，当前多数应用处于第一阶段。
- AI本质是预测机器，能以低成本、高精度做预测，可取代部分低效规则，决策者可分离预测和决策过程，甚至将决策权部分或全部交给AI。
【时间轴】
- 00:00:00 开始讨论万维纲所著《拐点：站在AI颠覆世界的前夜》，旨在捋清AI这一新的智慧形态的意义、能力边界及人类的自处方式。
- 00:01:05 从基本问题出发，打破“ChatGPT只是聊天机器人”的观念，指出其可能是启蒙运动级别的大事件。
- 00:01:46 强调AI代表不同于人类习惯的新智能，以AI发现新抗生素“哈拉森”为例说明。
- 00:03:30 提出AI挑战了人类过去对智能的理解，引用维特根斯坦观点，指出人类很多知识难以完全规则化，AI擅长捕捉无法明确规则定义的模式。
- 00:04:40 探讨AI的基本原理，介绍神经网络的结构和训练方式，包括监督学习、无监督学习和强化学习。
- 00:06:16 询问GPT主要的学习方式，介绍GPT通过预训练和Transformer架构掌握语言规律，具备生成式能力。
- 00:07:26 提到OpenAI自己也不清楚GPT效果好的原因，指出AI的黑盒性质，其内部参数复杂，人类难以完全理解决策过程。
- 00:08:06 引出理解大语言模型能力来源的关键概念“开悟”和“涌现”。
- 00:08:38 解释“开悟”的过程，即模型训练到一定阶段突然顿悟，能理解和生成新内容。
- 00:09:08 说明“涌现”是指模型规模跨过门槛后出现意想不到的高级能力，如小样本学习、简单加减法等。
- 00:09:49 以引导者问ChatGPT棒球棒和金箍棒的例子，说明AI具有推理能力，打破AI只会模式匹配的刻板印象。
- 00:11:04 介绍“思维链”，即让模型先说出思考步骤可提高回答准确率，这可能是从训练文本中学到的。
- 00:12:11 提及AI的多模态发展，如微软的Cosmos one模型能处理图文信息。
- 00:13:00 引用荀子《劝学》的话，将AI能力发展分为积土成山、积水成渊、积善成德三个境界。
- 00:13:43 探讨AI的弱点和局限，引用斯蒂芬·沃尔夫勒姆的观点，指出GPT不擅长精确计算和复杂算法。
- 00:15:55 询问GPT有效的关键因素，介绍沃尔夫勒姆总结的三个幸运发现。
- 00:17:16 再次探讨GPT的命门，指出其不擅长精确计算和复杂算法，但可通过插件功能弥补。
- 00:19:31 探讨AI更根本的局限，指出其难以跳出学习过的语料空间去发现全新的真理。
- 00:20:26 探讨GPT对世界的理解深度，引出语义向量空间的概念。
- 00:22:27 回应AI只是鹦鹉学舌的批评，从多模态和掌握关系的能力两方面进行反驳。
- 00:23:27 提出“肆意几何学”的设想，为理解智能提供全新视角。
- 00:25:45 总结AI不仅在模仿智能，还在逼近智能的本质，引出书的第二章内容。
- 00:26:08 快速过一下书第一章的问答，巩固对AI的理解。
- 00:26:16 讨论训练数据的版权问题，目前尚无定论。
- 00:27:26 询问GPT的知识更新问题，介绍微调或临时搜索获取新信息的方式。
- 00:28:20 探讨野生问题和驯化问题的区别，指出AI无法替代人类决策和体验。
- 00:29:17 总结AI可提供信息，但决策和体验还得靠自己。
- 00:29:27 探讨AI用于科学发现的问题，指出其有创造力，但无法完全替代科研。
- 00:30:43 总结第一章内容，引出第二章关于AI进入人类社会的影响。
- 00:31:07 提出疑问，为何还没看到AI对生产力带来巨大提升。
- 00:31:51 引用《权力与预测》的观点，解释AI生产力效应需经历三个阶段，目前多数应用处于第一阶段。
- 00:34:35 总结目前没看到AI带来生产力大爆发的原因，指出系统性变革刚刚开始。
- 00:34:53 询问《权力与预测》的核心观点，介绍AI本质是预测机器，可取代部分低效规则。
- 00:37:40 以农业为例，说明AI在不同阶段的应用情况。
