第 01 单元论文笔记包
第 01 单元论文笔记包
使用方法
每篇论文先只填一页。目标是能讲清主线，而不是把所有细节一次性读完。
1. word2vec
论文：Efficient Estimation of Word Representations in Vector Space
- 通过预测上下文/目标词，从大规模文本中学习稠密词向量。
一句话贡献：
- one-hot 表示不能表达词之间的语义相似性，而且维度随词表变大。
它解决的问题：
- CBOW：用上下文预测中心词。
- Skip-gram：用中心词预测上下文。
- negative sampling：用少量负样本降低训练成本。
核心方法：
../07_notebooks/dl_01_word2vec_embeddings.ipynb
最小复现：
- embedding 是什么。
- context window 如何产生训练样本。
- negative sampling 为什么不是完整 softmax。
我需要会解释：
我还不懂的地方：
- word2vec 学到的“语义”到底来自语言本身，还是来自共现统计？
可以追问：
2. ResNet
论文：Deep Residual Learning for Image Recognition
- 用 residual connection 让非常深的神经网络更容易优化。
一句话贡献：
- 网络变深后，训练误差可能反而变高，这不是单纯过拟合，而是优化困难。
它解决的问题：
- 让 block 学习残差函数
F(x)，输出F(x) + x。
核心方法：
../07_notebooks/dl_02_resnet_block.ipynb
最小复现：
- degradation problem。
- identity shortcut。
- 为什么
F(x) + x比直接学习H(x)更容易。
我需要会解释：
我还不懂的地方：
- residual connection、skip connection、shortcut connection 三个说法是否完全等价？
可以追问：
3. Attention
论文：Neural Machine Translation by Jointly Learning to Align and Translate
- 在生成目标序列时，让模型动态关注输入序列中相关位置。
一句话贡献：
- 固定长度上下文向量难以承载长句子的全部信息。
它解决的问题：
- 对 encoder hidden states 计算 alignment score，再加权求和得到 context vector。
核心方法：
../07_notebooks/dl_03_attention_qkv.ipynb
最小复现：
- score。
- softmax weight。
- weighted sum。
- context vector。
我需要会解释：
我还不懂的地方：
- attention 权重是否可以直接解释模型“为什么这样翻译”？
可以追问：
4. Transformer
论文：Attention Is All You Need
- 用 self-attention 取代 RNN/CNN，建立可并行训练的序列建模结构。
一句话贡献：
- RNN 难以并行训练，长距离依赖建模也比较困难。
它解决的问题：
- scaled dot-product attention。
- multi-head attention。
- positional encoding。
- residual connection 和 layer normalization。
核心方法：
../07_notebooks/dl_03_attention_qkv.ipynb
最小复现：
- query/key/value。
- self-attention。
- multi-head。
- positional encoding。
我需要会解释：
我还不懂的地方：
- Transformer 的成功主要来自 attention 结构，还是来自大规模数据和训练？
可以追问：
5 分钟汇报稿模板
大家好，我今天汇报的是从 word2vec 到 Transformer 的第一组经典论文。我把它们理解成一条连续主线：首先，word2vec 解决了离散词如何变成向量表示的问题；其次，ResNet 解决了深层网络变深后训练困难的问题；然后，attention 解决了序列生成时如何动态选择相关输入的问题；最后，Transformer 把 self-attention 扩展成一个可以并行训练的大规模序列模型结构。
这四篇论文共同说明，深度学习的发展不只是模型变大，而是不断解决表示、优化、信息选择和可扩展训练的问题。目前我已经能理解它们的核心机制和最小代码，但对于大规模实验细节、训练稳定性和工程优化还需要继续补。
本单元自测
- one-hot 和 embedding 的区别是什么？
- negative sampling 为什么能降低训练成本？
- ResNet 解决的是过拟合问题还是优化问题？
- attention 的 score、weight、context vector 分别是什么？
- Transformer 为什么需要 positional encoding？
- self-attention 相比 RNN 的主要优势是什么？
- 这四篇论文如何构成一条连续主线？