背景
循环神经网络在序列建模中具有天然的时间依赖，但顺序计算限制了并行效率。Transformer 尝试完全依赖注意力机制建立序列元素之间的关系。
核心方法
多头注意力让模型能够在不同表示子空间中关注不同关系；位置编码则为不包含递归结构的模型补充顺序信息。编码器和解码器都由重复模块构成，便于扩展。
值得注意的实验
除了最终指标，更值得关注的是训练成本、并行能力和不同注意力头的行为。阅读时可以进一步比较模型规模、数据量与性能提升之间的关系。
我的理解
这篇论文的重要性不仅在于提出一个新模块，更在于重新组织了序列建模的计算路径。后续阅读可继续关注长序列效率与注意力可解释性。