GPT 个人论文笔记
GPT 个人论文笔记
基本信息
- 标题：Improving Language Understanding by Generative Pre-Training
- 年份：2018
- 主题：自回归预训练
- 对应 notebook：
dl_04_mini_gpt_causal_lm.ipynb
一句话总结
这篇论文主要研究：如何用无标注文本预训练可迁移语言模型。
研究问题
-
方法
- 使用了什么模型或方法：
- 为什么适合这个问题：
- 我还不理解的技术细节：
和最小复现的关系
- notebook 复现了论文中的哪一个核心机制：
- notebook 没有覆盖论文的哪些部分：
- 我能解释的 shape/loss/输出：
5 分钟组会稿
大家好，我今天汇报的论文是 GPT。这篇论文关注的问题是……
可能被追问的问题
1. 2. 3. 4. 5.
理解边界声明
我目前能解释：
-
我还不能声称掌握：
-