AI前沿：随机Transformer可解释，大模型竞技场有漏洞

本期内容要点:

• 稀疏自编码器 (SAE) 与随机Transformer:  研究发现SAE也能“解释”随机初始化的Transformer，质疑了SAE作为机制可解释性工具的有效性，强调零模型基准测试的重要性。
• o1类LLM的“欠思考”现象:  揭示了o1类LLM在复杂推理中存在的“欠思考”问题，即频繁切换思路但缺乏深入探索，并提出“思路切换惩罚 (TIP)”解码策略有效提升推理准确率。
• Chatbot Arena投票作弊:  论证了Chatbot Arena平台存在投票作弊漏洞，“普遍存在的作弊”策略只需少量选票即可操纵模型排名，凸显众包评估平台的安全风险。
• 通用模型无关强化学习 (MR.Q):  提出了MR.Q算法，在模型无关框架内融入模型相关的表征学习，实现了跨多种基准测试的通用性和高性能，推动了通用强化学习算法的发展。
• LLM-AutoDiff框架:  提出了LLM-AutoDiff框架，将自动微分应用于提示工程，实现了对复杂LLM工作流的自动化提示优化，显著提升了优化效率和应用性能。

完整推介：mp.weixin.qq.com