Anthropic预训练负责人谈AI进化的底层逻辑

核心议题

1. 预训练关键逻辑：目标是找到海量数据目标函数，核心方法为 “预测下一个词”；规模化定律（算力、数据、模型规模提升→模型更智能）形成正向循环；GPT 系自回归模型因易生成文本、损失与目标相关主导业界，算力是核心影响因素。
2. 工程与团队挑战：需优化超参数、搭建分布式框架，最大化 GPU 利用率（MFU）；团队靠 “结对编程” 学习，趋向专业化，需全栈工程师与跨领域人才；预训练与推理团队协作平衡模型智能与经济性。
3. 数据与评估：互联网数据枯竭存疑，LLM 生成数据或致模型 “模式崩溃”；评估需低噪音、快速且贴合真实目标，损失函数仍是重要指标。
4. 未来与建议：AGI 将带来巨大变革，“对齐” 需解决理论与经验问题；建议初创公司警惕 “脚手架”、解决实验室痛点，学生关注 AI 工程技能与 AGI 用途。