AI前沿：从“反转诅咒”到手机上的超级AI

本期《TAI快报》深入探讨了五篇AI前沿论文的精髓：

• On the generalization of language models from in-context learning and finetuning: a controlled study揭示微调的“反转诅咒”，提出用上下文学习增强微调数据，提升模型灵活性。
• Wasserstein Policy Optimization推出WPO算法，优化强化学习，适合高维控制任务如核聚变。
• Scaling On-Device GPU Inference for Large Generative Models介绍ML Drift框架，通过张量虚拟化让手机高效运行大模型。
• Mixture of Sparse Attention提出MoSA机制，降低注意力机制复杂度并提升性能，适合长文本处理。
• Base Models Beat Aligned Models at Randomness and Creativity发现对齐可能削弱AI创造力，呼吁平衡对齐与原创性。

完整推介：mp.weixin.qq.com