19
0本期博客翻译自Lex Fridman
本期播客讨论了人工智能领域的最新进展和未来展望，邀请了两位机器学习研究员，他们站在 2026 年的时间节点，回望了那个改变游戏规则的“深度求索（DeepSeek）时刻”，并深度剖析了中美 AI 竞赛、推理模型的技术内幕，以及那消失在代码里的“人类之声”。
主要讨论点包括：
1. 中美AI竞争：双轨并行的格局
- 美国闭源阵营：技术壁垒：GPT-5、Claude Opus 4.5凭借推理时计算扩展（如o1模型）实现复杂任务突破。
生态优势：用户粘性依赖“肌肉记忆”（如ChatGPT的界面习惯）和品牌信任。 - 中国开源突围：DeepSeek时刻：2025年1月DeepSeek R1以低成本实现顶尖性能，引发开源竞赛。
模型矩阵：智谱GLM、MiniMax、Qwen等通过开放权重快速占领开发者市场，许可证友好性成关键。
2. 技术深潜：Transformer的“微创新”革命
- 架构本质：GPT-2以来核心架构未变，进步源于三大优化：混合专家模型（MoE）：稀疏激活降低推理成本，如DeepSeek的256专家路由机制。
注意力机制微调：分组查询注意力（GQA）、滑动窗口注意力优化长文本处理。
推理时计算扩展：模型生成“思考链”token（如GPT-5.2的70%长上下文得分），解锁工具使用能力。 - 工程突破：FP8/FP4量化训练、Blackwell GPU集群支撑算力规模，训练效率提升30%。
3. 开源生态：中国模型的“全球野心”
- 战略逻辑：通过开源权重绕过API付费壁垒，抢占海外开发者市场（如Kimi K2托管美国服务器）。
- 优势与隐忧：优势：允许本地部署、定制化训练（如医疗/法律垂直模型），许可证无商业限制。
挑战：预训练成本高达千万美元，商业模式依赖“用户GPU分摊算力”（如OpenAI的GPT-OSS策略）。
4. 数据战争：从“量”到“质”的生死战
- 高质量数据来源：PDF挖掘：AI2通过Semantic Scholar爬取开放论文，提取万亿级token。
合成数据：ChatGPT优质回答、OCR处理的学术文献成为预训练新宠。 - 版权困局：Anthropic因使用盗版书籍训练被判赔偿15亿美元，倒逼行业转向授权数据。
5. 伦理困境：被磨平的“模型个性”
- RLHF双刃剑：提升安全性的同时，模型输出趋同（如“平均化回答”丧失锋芒）。
- 社会风险：心理健康依赖：用户将AI视为情感伙伴，极端案例可能引发舆论反噬。
数据污染：互联网充斥AI生成内容，人类筛选成“最后滤网”。
未来预判：三个关键战场
- 推理优化：小模型通过推理时扩展（如o1）实现大模型能力，性价比成竞争核心。
- 垂直领域：企业私有数据训练专属模型（如制药/金融），打破通用模型垄断。
- 人机协作：工具链融合（如Claude Code+Cursor）重塑编程范式，“英语编程”成新趋势。
关注我的博客：硅谷声研所
更多问题可以联系：Nonecoco
