[人人能懂AI前沿] AI进化论:从“脑补”世界到成为科研搭档

[人人能懂AI前沿] AI进化论:从“脑补”世界到成为科研搭档

31分钟 ·
播放数231
·
评论数1

你有没有想过,AI除了会聊天画画,还能做什么更酷的事?本期节目,我们将一口气看到AI能力的多个惊人侧面。从像人一样“脑补”物理世界,到用“笨方法”实现更高效的学习,再到成为物理学家的“科研搭子”,解决真正的科学难题。这些最新论文将刷新你对AI潜力的认知!

00:00:28 AI学会了“脑补”,世界就大不一样了

00:06:08 大模型里的“关系户”,它凭什么吸引了所有注意力?

00:13:10 AI省钱的终极奥义,少就是多

00:18:04 一个“笨方法”,让AI学得更快

00:22:49 AI,从聊天高手到科研搭子

本期介绍的几篇论文:

[LG] Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling  

[CMU & UT Austin & Brown University]  

arxiv.org 

---

[CL] The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks  

[New York University]  

arxiv.org 

---

[CL] Sparse-BitNet: 1.58-bit LLMs are Naturally Friendly to Semi-Structured Sparsity  

[Microsoft Research]  

arxiv.org 

---

[CL] Replaying pre-training data improves fine-tuning  

[Stanford University]  

arxiv.org 

---

[AI] Solving an Open Problem in Theoretical Physics using AI-Assisted Discovery  

[Google Research]  

arxiv.org 

展开Show Notes
第三篇论文的观点有个蛋生鸡和鸡生蛋的问题。如果你在训练的时候就准备好归一化数据,那训练的时候就已经比较难出现精细化参数了,确实完成精兵简政。但是问题来了,谁来准备好归一化数据?大规模归一化数据或许也只能靠 AI 来量化,于是因果循环…