第 01 单元：从表示学习到 Transformer
第 01 单元：从表示学习到 Transformer
一句话定义
这个单元回答一个问题：深度学习如何把离散符号、图像和序列，逐步变成可以训练、可以组合、可以扩展的大模型结构。
解决什么问题
如果直接从 GPT、BERT 或大模型开始学，容易只记住名词，看不懂底层变化。本单元按历史和逻辑顺序串起四篇论文：
- word2vec：先学会“词可以变成向量”。
- ResNet：再理解“深层网络为什么能训练得更深”。
- Attention：再理解“模型如何在序列中选择相关信息”。
- Transformer：最后理解“为什么 self-attention 可以成为大模型基础结构”。
这四篇不是孤立论文，而是一条主线：表示学习 -> 可训练深层结构 -> 动态信息选择 -> 可并行的大规模序列建模。
典型场景
- NLP：把词、句子、段落变成向量，并进行分类、生成、翻译、问答。
- CV：用深层残差网络提取图像特征。
- 大模型：用 Transformer 做预训练、微调、提示学习。
- 科研阅读：判断一篇新论文是在改表示、改结构、改训练目标，还是改规模。
四篇论文的最小理解
| 论文 | 最小问题 | 核心直觉 | 学习时不要陷入 |
|---|---|---|---|
| word2vec | 如何让词有连续向量表示？ | 在相似上下文出现的词，向量应该相近 | 不要一开始纠结所有优化技巧 |
| ResNet | 网络加深后为什么更难训练？ | 让网络学习“改变量”，而不是完整映射 | 不要把残差连接只理解成防过拟合 |
| Attention | 生成一个词时，如何选择输入中相关位置？ | 每一步根据相关性加权汇总上下文 | 不要把 attention 权重直接等同于因果解释 |
| Transformer | 能不能不用 RNN 做序列建模？ | 用 self-attention 让所有位置直接交互 | 不要只背 encoder/decoder 图，要看 tensor shape |
和本实验室方向的关系
即使你的主线是复杂系统、极值、统计或网络科学，这个单元仍然有用：
- 表示学习：可以理解节点 embedding、文本 embedding、特征表示。
- ResNet：可以理解深层模型为什么需要结构设计。
- Attention：可以理解“不同变量/节点/时间点的重要性如何被动态加权”。
- Transformer：可以理解时间序列、图序列、文本和多模态模型的共同基础。
可以这样定位：
我不把深度学习当作孤立技能，而是把它作为一种表示学习和复杂关系建模工具。word2vec 到 Transformer 的主线，帮助我理解模型如何从局部上下文、深层结构和注意力机制中学习可迁移表示。
学习路线
第 1 天：word2vec
目标：理解 embedding 和 context window。
- 阅读论文摘要和引言。
- 跑通
dl_01_word2vec_embeddings.ipynb。 - 写出 one-hot、embedding、negative sampling 的区别。
任务：
- 能解释“为什么上下文相似的词，向量可能相近”。
验收：
第 2 天：ResNet
目标：理解 degradation problem 和 residual connection。
- 阅读 ResNet 摘要、引言和 Figure 2。
- 写出普通 block 与 residual block 的差别。
- 跑通 ResNet block toy notebook。
任务：
- 能解释残差连接主要缓解优化困难，而不是简单等同于防过拟合。
验收：
第 3 天：Attention
目标：理解 query、key、value 和加权汇总。
- 阅读 attention 论文中 alignment model 的直觉。
- 手算一个 2-3 个 token 的 attention 权重。
- 跑通 scaled dot-product attention notebook。
任务：
- 能解释 attention score、softmax weight、weighted sum 分别是什么。
验收：
第 4 天：Transformer
目标：理解 self-attention 如何替代 recurrent recurrence。
- 阅读 Transformer 摘要、引言、模型结构。
- 对照 notebook 理解 Q/K/V shape。
- 写一段 Transformer 相比 RNN 的优势和代价。
任务：
- 能说明并行训练、长距离依赖、位置编码三件事。
验收：
第 5 天：综合复盘
- 把四篇论文填入
第01单元_论文笔记包.md。 - 做一张“表示学习到 Transformer”的知识图。
- 准备 5 分钟口头汇报。
任务：
- 能讲出一条连续故事，而不是四篇孤立论文。
验收：
交流时可以怎么说
课堂/组会表达：
我目前把 word2vec、ResNet、Attention 和 Transformer 理解为深度学习早期到现代大模型之间的四个关键环节：word2vec 解决离散词的向量表示，ResNet 解决深层网络训练困难，Attention 解决序列中动态选择相关信息的问题，Transformer 则把 self-attention 变成可以大规模并行训练的通用序列结构。
暴露边界的表达：
我现在能理解这些方法的核心机制和 toy 代码，但还不能声称掌握完整工程复现。比如 word2vec 的大规模训练优化、ResNet 的 ImageNet 实验细节、Transformer 的高效实现和训练稳定性，还需要继续补。
可以追问老师/同学的问题
- ResNet 的残差连接和 Transformer 的 residual connection，本质作用是否类似？
- Attention 权重在什么条件下可以解释模型决策，什么条件下不应该解释？
- Transformer 的优势主要来自结构、数据规模、训练目标，还是三者共同作用？
- 如果我的研究对象是复杂网络或时间序列，什么时候值得用 Transformer，而不是传统统计模型？
- 最小复现和论文复现之间的标准差别是什么？
给 AI 的高质量提示词
我正在学习 word2vec、ResNet、Attention、Transformer 四篇经典论文。
请帮我把它们串成一条“表示学习 -> 深层网络 -> 注意力 -> Transformer”的逻辑主线。
要求：
1. 面向跨专业硕士新生
2. 每篇论文只抓一个核心问题
3. 区分直觉解释、专业表达和最小代码复现点
4. 标出我容易误解的地方
5. 最后生成 5 个组会追问