【第234期】Transformers without Normalization

Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。

进群添加小助手微信：seventy3_podcast

备注：小宇宙

今天的主题是：

Transformers without Normalization

Summary

该来源介绍了一项研究，该研究挑战了神经网络中归一化层不可或缺的观点。研究人员提出了一种名为Dynamic Tanh (DyT) 的简单操作，作为 Transformer 架构中归一化层的替代。通过模仿归一化层 S 形的输入-输出映射并引入一个 可学习的缩放参数，DyT 使得没有归一化层的 Transformer 在图像识别、生成、语言建模和语音处理等各种任务上实现了与使用归一化层相当甚至更好的性能。研究结果表明，DyT 是一种 简单且高效 的替代方案，为深入理解归一化层的作用提供了新的视角。

原文链接：arxiv.org