BERT 个人论文笔记

综合实践 · 12_深度学习原理与经典论文路线/paper_notes/06_bert.md

BERT 个人论文笔记

基本信息

• 标题：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• 年份：2018
• 主题：masked language modeling
• 对应 notebook：dl_05_bert_mlm_toy.ipynb

一句话总结

这篇论文主要研究：如何学习双向上下文表示。

研究问题

-

方法

• 使用了什么模型或方法：
• 为什么适合这个问题：
• 我还不理解的技术细节：

和最小复现的关系

• notebook 复现了论文中的哪一个核心机制：
• notebook 没有覆盖论文的哪些部分：
• 我能解释的 shape/loss/输出：

5 分钟组会稿

大家好，我今天汇报的论文是 BERT。这篇论文关注的问题是……

可能被追问的问题

1. 2. 3. 4. 5.

理解边界声明

我目前能解释：

-

我还不能声称掌握：

-