Transformer 个人论文笔记

综合实践 · 12_深度学习原理与经典论文路线/paper_notes/04_transformer.md

Transformer 个人论文笔记

基本信息

• 标题：Attention Is All You Need
• 年份：2017
• 主题：self-attention / 序列建模
• 对应 notebook：dl_03_attention_qkv.ipynb

一句话总结

这篇论文主要研究：能否不用 RNN/CNN，主要依靠 attention 做序列建模。

研究问题

-

方法

• 使用了什么模型或方法：
• 为什么适合这个问题：
• 我还不理解的技术细节：

和最小复现的关系

• notebook 复现了论文中的哪一个核心机制：
• notebook 没有覆盖论文的哪些部分：
• 我能解释的 shape/loss/输出：

5 分钟组会稿

大家好，我今天汇报的论文是 Transformer。这篇论文关注的问题是……

可能被追问的问题

1. 2. 3. 4. 5.

理解边界声明

我目前能解释：

-

我还不能声称掌握：

-