Attention Is All You Need

Attention Is All You Need

8分钟 ·
播放数5
·
评论数0

这篇论文介绍了 Transformer,一种新型的神经网络架构,完全依赖于 注意力机制 进行序列转换,彻底取代了传统的循环和卷积网络。作者提出 Transformer 在机器翻译等任务上表现 卓越,并且训练起来 更快、更易并行化,甚至在翻译质量上达到了 新的技术高度。通过分析注意力机制的运作方式以及与现有模型的比较,论文强调了 Transformer 在处理 长距离依赖 方面的优势,并展示了其在其他任务上的泛化能力。

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.