ResNet 阅读、代码与复盘工作纸
ResNet 阅读、代码与复盘工作纸
一句话目标
用第二周把 ResNet 学成一个闭环：能解释 degradation problem，能画出 F(x)+x，能说明 projection shortcut 为什么需要，并能讲清 toy notebook 没有复现完整 ImageNet 实验。
Day 8：CNN 和深层网络背景
1. CNN 在图像任务中大概做什么？
我的回答：
2. 什么是 channel？
我的回答：
3. 深层网络“更深”通常想带来什么好处？
我的回答：
4. 今天仍然不懂的地方
1. 2. 3.
Day 9：degradation problem
1. ResNet 想解决什么问题？
请用自己的话写：
2. degradation problem 和 overfitting 有什么不同？
overfitting：
degradation problem：
3. 论文中的 Figure 2 想说明什么？
我的理解：
4. 组会中可以怎么问
我理解 ResNet 主要不是为了解决过拟合，而是为了缓解深层网络的优化困难。这个理解是否准确？
我的改写：
Day 10：Residual block 和 F(x)+x
1. 普通 block 在学什么？
2. residual block 在学什么？
3. F(x) 是什么？
4. x 是什么？
5. 为什么要做 F(x)+x？
6. notebook shape 记录
| 对象 | shape | 含义 |
|---|---|---|
输入 x | ||
residual 分支 F(x) | ||
| shortcut 分支 | ||
输出 F(x)+x |
Day 11：projection shortcut
1. 为什么 F(x) 和 x shape 不一致时不能直接相加？
2. projection shortcut 解决什么问题？
3. 为什么常用 1x1 convolution？
4. notebook 中我修改或检查了什么？
Day 12：一页个人论文笔记
把下面内容整理进 paper_notes/02_resnet.md。
1. 一句话贡献
2. 研究问题
3. 核心方法
residual learning：
identity shortcut：
projection shortcut：
4. 最小代码对应
这个 notebook 复现了：
这个 notebook 没有复现：
5. 我能解释的 shape/loss/输出
6. 我还不懂的地方
1. 2. 3.
Day 13：3 分钟口头表达
1. 20 秒开场
我今天解释的是 ResNet。它关注的问题是……
我的版本：
2. 50 秒：degradation problem
3. 60 秒：F(x)+x
4. 40 秒：projection shortcut
5. 30 秒：toy demo 的边界
6. 3 分钟完整稿
Day 14：第二周复盘
自测题 7-9
7. ResNet 解决的是过拟合还是优化困难？
我的回答：
修正后回答：
8. F(x)+x 中 x 的作用是什么？
我的回答：
修正后回答：
9. projection shortcut 为什么需要？
我的回答：
修正后回答：
第二周证据汇总
| 证据 | 位置 | 是否完成 | 还缺什么 |
|---|---|---|---|
| Day08-Day14 学习记录 | daily_logs/Day08_学习记录.md 到 Day14_学习记录.md | ||
| ResNet 个人笔记 | paper_notes/02_resnet.md | ||
| ResNet notebook shape 记录 | daily_logs/Day10_学习记录.md 或本工作纸 | ||
| projection shortcut 解释 | daily_logs/Day11_学习记录.md 或本工作纸 | ||
| 3 分钟口头稿 | 本工作纸 / daily_logs/Day13_学习记录.md | ||
| 自测题 7-9 | 本工作纸 / 自测题库.md | ||
| 第二周复盘 | daily_logs/第二周复盘.md |
进入 Attention 前必须讲清的 3 件事
1. 2. 3.