[人人能懂AI前沿] 从预测天机、开关蒸馏到效率革命

本期我们来聊聊AI世界正在悄然发生的一场“效率革命”。如何只花十分之一的成本，就猜对AI巨头的“天机”？又如何让AI靠“复读”关键知识，聪明地战胜一味地“堆料”？我们还会探讨一个反常识的现象：为什么一个好的AI老师，关键时刻要学会“闭嘴”？AI的能力飞跃，究竟是学会了新招，还是把旧招用得更溜了？四篇最新的AI论文，带你洞悉AI世界的效率革命与学习智慧。

00:00:33 如何用十分之一的成本，猜对AI巨头的“天机”？

00:06:17 如何让“笨学生”学得更快？关键在于让“老师”适时闭嘴

00:11:26 AI变聪明，是学会了新招，还是旧招用得更溜了？

00:16:47 AI训练的内卷，如何用“复读”战胜“堆料”？

00:22:44 当AI被骗，它的大脑里发生了什么？

本期介绍的几篇论文：

[LG] Efficiently Estimating Optimal Hyperparameter Scaling Laws through Power-Law Entropy Search

[Meta]

arxiv.org

---

[CL] Knowledge Distillation During Mid-Training Favors Reasoning over Factual Recall

[Meta AI & Princeton University]

arxiv.org

---

[CL] From Base Rollouts to RL Reasoning: A Budgeted Search Perspective

[Fudan University & Zhipu AI & Tsinghua University]

arxiv.org

---

[LG] SMELT: Scaling Laws for Compute-Matched MoE Looped Transformers

[Tsinghua University & ByteDance Seed & M-A-P]

arxiv.org

---

[LG] How Do Language Models Choose Between Context and Memory?

[Stanford University]

arxiv.org