经典论文矩阵
经典论文矩阵
| 编号 | 论文 | 年份 | 研究问题 | 核心方法 | 先掌握的概念 | 最小复现点 | 验收问题 |
|---|---|---|---|---|---|---|---|
| 1 | word2vec | 2013 | 如何从大规模文本中学习词的向量表示 | skip-gram、CBOW、negative sampling | one-hot、embedding、context window、softmax | 用小语料训练词向量并查看近邻词 | 为什么词向量能表达语义相似性？ |
| 2 | ResNet | 2015 | 深层网络变深后为什么反而更难优化 | residual connection、identity mapping | CNN、梯度、batch normalization | 写一个 residual block | 残差连接解决的是过拟合还是优化困难？ |
| 3 | Attention | 2014 | seq2seq 如何在生成时关注输入的不同位置 | encoder-decoder attention、alignment | RNN、hidden state、conditional probability | 写一个 attention score 计算例子 | attention 的权重可以怎样解释？ |
| 4 | Transformer | 2017 | 是否可以不用 RNN/CNN 直接做序列建模 | self-attention、multi-head attention、positional encoding | matrix multiplication、softmax、embedding | 写 scaled dot-product attention | 为什么 Transformer 更适合并行训练？ |
| 5 | GPT | 2018 | 无监督预训练能否提升语言理解任务 | decoder-only Transformer、language modeling、fine-tuning | autoregressive LM、pre-training | 用字符级小语料训练 mini GPT | GPT 的训练目标和下游任务如何连接？ |
| 6 | BERT | 2018 | 如何获得双向上下文表示 | masked language modeling、next sentence prediction | encoder-only Transformer、masking | 构造 MLM toy task | BERT 为什么不适合直接逐词生成？ |
| 7 | GPT-3 | 2020 | 扩大模型后能否通过提示完成任务 | large-scale autoregressive LM、in-context learning | few-shot、prompt、benchmark | 复现实验表格结构，不复现训练 | in-context learning 和 fine-tuning 有什么区别？ |
| 8 | Scaling Law | 2020 | 模型性能如何随参数、数据、计算量变化 | empirical power laws | loss curve、compute budget、overfitting | 画 toy scaling curve | scaling law 是理论定律还是经验规律？ |
| 9 | Chinchilla | 2022 | 给定计算预算时，参数和数据应如何分配 | compute-optimal scaling | token、parameter、training compute | 做参数-数据-计算量关系表 | 为什么更小但训练更充分的模型可能更好？ |
| 10 | RLHF | 2022 | 如何让语言模型更符合人类偏好 | SFT、reward model、PPO | reinforcement learning、preference ranking | 画 RLHF 三阶段流程图 | reward model 学到的是事实正确性还是偏好？ |
| 11 | LoRA | 2021 | 如何低成本微调大模型 | low-rank matrices、frozen base model | matrix rank、fine-tuning | 写 LoRA linear layer | 为什么低秩更新可以减少训练参数？ |
| 12 | Diffusion | 2020 | 如何通过逐步去噪生成高质量样本 | forward noising、reverse denoising、score/epsilon prediction | Gaussian noise、Markov chain、loss | 写二维点的 toy denoising | diffusion 和 GAN 的生成思路有什么不同？ |
推荐阅读顺序
- 先读 1-4：建立表示学习、深层结构、attention、Transformer。
- 再读 5-7：理解预训练语言模型。
- 再读 8-11：理解大模型训练规律、对齐和低成本适配。
- 最后读 12：补齐生成模型另一条主线。
每篇论文的一页笔记格式
复制下面模板，每篇只写一页：
论文：
一句话贡献：
它解决的问题：
它的核心方法：
它依赖的前置概念：
我能复现的最小点：
我还不懂的地方：
可以问老师/同学的问题：
可以让 AI 帮我检查的问题：
组会表达模板
这篇论文关注的问题是：____。在它之前，主要困难是：____。作者的核心想法是：____。从方法上看，它主要改动了：模型结构 / 训练目标 / 数据规模 / 优化方式 / 适配方式。实验结果说明：____。但它的局限是：____。如果我后续要复现，最小切入点是：____。