Layer Normalization

本论文详细阐述了层归一化（Layer Normalization）的概念，这是一种用于加速深度神经网络训练的技术。该方法通过在单个训练案例中计算层内所有神经元总和输入的均值和方差来规范化激活值，与需要批量统计的批量归一化（Batch Normalization）形成对比。文中分析了层归一化在不变性特性方面的优势，特别是其在处理循环神经网络（RNN）和小型迷你批量时的鲁棒性。此外，还通过多项实验验证了层归一化在图像-句子排序、问答、语言建模、手写生成和MNIST分类等任务上的有效性，展示了其缩短训练时间并提升泛化性能的能力。

Source: <arxiv.org>