TTiti的学习笔记
首页 / 综合实践 / 12_深度学习原理与经典论文路线/8周逐日任务表.md

8 周逐日任务表

综合实践 · 12_深度学习原理与经典论文路线/8周逐日任务表.md

8 周逐日任务表

使用规则

每天只完成一个小闭环:读一点、写一点、跑一点、说一点。不要把目标设成“看完视频”或“看完论文”,而是交付一个可检查产出。

每天 90 分钟建议分配:

  1. 20 分钟:看视频或读书补概念。
  2. 25 分钟:读论文一个小节。
  3. 25 分钟:跑或改 notebook。
  4. 10 分钟:写 3 句话总结。
  5. 10 分钟:做自测题或向 AI 提 3 个问题。

第 1 周:神经网络与 word2vec

主题任务产出
Day 1深度学习整体地图看 MIT 6.S191 intro;读 核心概念清单.md 第一组解释 tensor、loss、gradient
Day 2词向量直觉读 word2vec 摘要和引言一句话解释 embedding
Day 3context windowdl_01_word2vec_embeddings.ipynb 前半部分画一个中心词-上下文样本
Day 4negative sampling跑完 word2vec notebook解释正样本和负样本
Day 5论文笔记第01单元_论文笔记包.md 的 word2vec 部分一页 word2vec 笔记
Day 6口头表达用 3 分钟讲 word2vec录音或写 3 分钟稿
Day 7复盘自测题库.md 中 word2vec 题标出 3 个薄弱点

第 2 周:ResNet 与深层网络

主题任务产出
Day 8CNN 和深层网络看 MIT/CNN 相关内容或读书查 CNN解释卷积和通道
Day 9ResNet 问题读 ResNet 摘要、引言、Figure 2解释 degradation problem
Day 10residual blockdl_02_resnet_block.ipynbF(x)+x
Day 11projection shortcut修改 notebook 中 channel 数解释为什么 shape 要一致
Day 12论文笔记填 ResNet 一页笔记一页 ResNet 笔记
Day 13对比表达比较普通 block 和 residual block3 分钟口头稿
Day 14复盘做 ResNet 自测题标出 3 个问题

第 3 周:Attention 与 Transformer

主题任务产出
Day 15attention 直觉读 Attention 论文摘要和方法直觉解释 alignment
Day 16Q/K/Vdl_03_attention_qkv.ipynb 前半部分写出 Q/K/V shape
Day 17softmax weight手算 2-3 个 token 的 attention一张手算表
Day 18Transformer读 Transformer 摘要、引言、模型结构解释 self-attention
Day 19论文笔记填 Attention 和 Transformer 笔记两页笔记
Day 20单元整合第01单元_表示学习到Transformer.md一张主线图
Day 21复盘讲 5 分钟第 01 单元5 分钟稿

第 4 周:GPT 与 BERT

主题任务产出
Day 22GPT 训练目标读 GPT 摘要和训练目标解释 next-token prediction
Day 23causal maskdl_04_mini_gpt_causal_lm.ipynb解释为什么不能看未来
Day 24BERT 训练目标读 BERT 摘要和 MLM 部分解释 [MASK]
Day 25MLM lossdl_05_bert_mlm_toy.ipynb解释只在 mask 位置算 loss
Day 26GPT vs BERT填第 02 单元中 GPT/BERT 笔记对照表
Day 27口头表达3 分钟讲 GPT 和 BERT 差异口头稿
Day 28复盘做 GPT/BERT 自测题标出薄弱点

第 5 周:GPT-3、Scaling Law、Chinchilla

主题任务产出
Day 29GPT-3读 GPT-3 摘要和 few-shot 部分解释 in-context learning
Day 30prompt 范式写 3 个 few-shot prompt 例子prompt 对照表
Day 31Scaling Law读 Scaling Law 摘要和主要图表解释经验规律
Day 32toy scalingdl_06_scaling_law_chinchilla_toy.ipynb解释参数/数据/计算量
Day 33Chinchilla读 Chinchilla 摘要和结论解释 compute-optimal
Day 34论文笔记填 GPT-3、Scaling Law、Chinchilla三页笔记
Day 35复盘讲第 02 单元 5 分钟5 分钟稿

第 6 周:RLHF、LoRA、Diffusion

主题任务产出
Day 36RLHF读 RLHF 摘要和方法概览画三阶段流程
Day 37偏好与 reward写偏好排序 toy 表格解释 reward model
Day 38LoRA读 LoRA 摘要和方法解释 low-rank
Day 39LoRA demodl_07_lora_linear.ipynb计算参数量
Day 40Diffusion读 Diffusion 摘要和直觉解释加噪/去噪
Day 41Diffusion demodl_08_diffusion_denoising_toy.ipynb解释 noise prediction
Day 42复盘填第 03 单元笔记三页笔记

第 7 周:整合与查漏

主题任务产出
Day 43主线整合读 3 个单元讲义总知识图
Day 44notebook 整理选择 2 个 notebook 重跑或检查输出截图/结果记录
Day 45论文矩阵补全 经典论文矩阵.md 自己理解12 行矩阵
Day 46自测自测题库.md 第一轮错题清单
Day 47口头练习讲 12 篇论文主线 8 分钟录音或讲稿
Day 48补短板针对错题补概念5 个修正回答
Day 49复盘更新 当前进度看板.md新状态

第 8 周:最终模拟组会

主题任务产出
Day 50选题选择 1 篇论文深入讲选题理由
Day 51写稿最终汇报_Transformer草稿.md 或另写个人稿10 分钟初稿
Day 52配 notebook选择 1 个 notebook 展示讲解顺序
Day 53追问准备回答 8 个追问问答稿
Day 54第一次演练录一次 10 分钟汇报自评清单
Day 55修改修正不清楚的概念和表达第二版稿
Day 56最终演练完成最终模拟组会最终自评