人工智能与计算 · 2017-06
Attention Is All You NeedPDF Download
Vaswani et al. (Google)
Transformer 用基于注意力的组件来处理序列,论文展开了编码器、解码器、位置信息和训练设置之间的配合。
试着跟着一个词元走完整个模型,再看公式,会顺畅很多。标题足够响亮,真正解释设计取舍的,还是结构图与消融实验。
2.1 MB · SHA-256: bdfaa68d8984f0dc02beaca527b76f207d99b666d31d1da728ee0728182df697