第二周复盘：ResNet 与深层网络

综合实践 · 12_深度学习原理与经典论文路线/daily_logs/第二周复盘.md

第二周复盘：ResNet 与深层网络

本周目标

理解 ResNet 的核心问题和机制：深层网络的 degradation problem、residual connection、identity shortcut、projection shortcut。

本周完成证据

本周应能回答的问题

1. ResNet 解决的是过拟合还是优化困难？
2. degradation problem 是什么？
3. F(x)+x 中 F(x) 和 x 分别是什么？
4. 为什么相加要求 shape 一致？
5. projection shortcut 为什么常用 1x1 convolution？
6. ResNet toy demo 没有复现论文哪些部分？

本周薄弱点

1. 2. 3.

下周计划

下周主题：Attention 与 Transformer。

最小任务：

1. 读 Attention 论文摘要和 alignment 直觉。
2. 跑或检查 dl_03_attention_qkv.ipynb。
3. 填 paper_notes/03_attention.md 和 paper_notes/04_transformer.md。
4. 能解释 Q/K/V、softmax weight 和 self-attention。