0
0该研究论文介绍了一种名为“无声梯度”的新方法，旨在解决变分自动编码器 (VAEs) 训练中常见的梯度估计方差问题。传统方法如重参数化和REINFORCE算法在通过随机采样层反向传播梯度时会引入噪声，从而影响模型性能和收敛速度。作者提出，通过利用特定的解码器架构，可以解析地计算预期证据下界（ELBO），从而得到零方差的梯度。文章首先在理论上确立了这种方法的有效性，并展示了其在线性解码器设置下优于现有估计器的表现。为了将其推广到更复杂的非线性解码器，研究引入了一种新颖的训练动态，该动态在编码器训练的早期阶段使用精确的零方差梯度进行指导，然后逐步过渡到标准的随机估计器。实验结果表明，该技术显著提高了包括重参数化、Gumbel-Softmax和REINFORCE在内的基线模型的性能，为生成模型训练提供了一个结合解析计算稳定性与深度非线性架构表达能力的新方向。
Source: <arxiv.org>
