AI前沿：元梯度下降与短记忆长推理

本期播客探讨了五项AI研究前沿：

1.《Optimizing ML Training with Metagradient Descent》用元梯度下降优化训练配置，REPLAY算法让AI自己调整“烹饪方法”，在数据选择和投毒任务中大放异彩。

2.《Tapered Off-Policy REINFORCE》通过TOPR算法，让语言模型从正反例中学习，提升推理能力并保持稳定。

3.《PENCIL: Long Thoughts with Short Memory》用短记忆实现长推理，小模型也能解复杂谜题，内存效率惊人。

4.《Tiled Flash Linear Attention》用分块平铺提速长文本处理，mLSTM模型跑得更快更省力。

5.《Don't lie to your friends》通过协作式自弈，让AI学会认识知识边界，提升工具使用和可靠性。

完整推介：mp.weixin.qq.com