TTiti的学习笔记
首页 / 综合实践 / 12_深度学习原理与经典论文路线/第一周启动包.md

第一周启动包

综合实践 · 12_深度学习原理与经典论文路线/第一周启动包.md

第一周启动包

一句话定义

第一周只做一件事:把“深度学习是怎么从数据中学表示”这件事讲清楚,并用 word2vec notebook 跑出最小证据。

解决什么问题

很多初学者一上来就看 Transformer,会卡在三个地方:

  1. 不知道向量、loss、gradient 在干什么。
  2. 不知道 embedding 为什么是语言模型的入口。
  3. 论文看得懂中文翻译,但无法连接到代码。

第一周的任务是先把这三个问题压到可控范围。

第 0 天:先做诊断

先完成 入门诊断测试.md。如果总分低于 4 分,不要急着读完整论文,先把 Day 1-Day 3 拆慢:

原任务放慢版本
Day 1 看整体地图只解释 tensor、loss、gradient
Day 2 读 word2vec 摘要和引言只找出“词如何变成向量”这个问题
Day 3 跑 notebook 前半部分只跑 embedding 和 context window 部分

Day 1:深度学习整体地图

直觉解释

深度学习不是先写规则,而是让模型从样本中调整参数,使预测结果越来越接近目标。

专业表达

深度学习通过可微分模型、损失函数和梯度优化,在大规模数据中学习多层表示。第一周只需要理解:输入被编码成 tensor,模型输出预测,loss 衡量预测错误,gradient 指导参数更新。

最小产出

daily_logs/Day01_学习记录.md 写下:

  1. tensor 的一个例子。
  2. loss 的一句话解释。
  3. gradient 的一句话解释。
  4. 一个仍然不懂的问题。

可以追问老师/同学

我现在把深度学习理解为“用 loss 和 gradient 学参数化表示”。这个说法在入门阶段是否足够?还缺哪一块?

Day 2:word2vec 的研究问题

直觉解释

word2vec 想解决的是:怎样让机器把词变成向量,而且这些向量能反映语义关系。

专业表达

word2vec 将词表示为 dense vector,并通过上下文预测任务学习词的分布式表示。它的关键不是“词典编码”,而是让相似上下文中的词在向量空间中更接近。

最小产出

paper_notes/01_word2vec.md 补 4 句:

  1. 研究问题是什么。
  2. 方法直觉是什么。
  3. 实验证明了什么。
  4. 自己还不懂什么。

Day 3-Day 4:跑 word2vec notebook

先看什么

打开 ../07_notebooks/dl_01_word2vec_embeddings.ipynb,只盯住 3 件事:

  1. 输入词如何变成 id。
  2. id 如何查 embedding table。
  3. 正样本和负样本如何形成 loss。

必须记录的输出

daily_logs/Day03_学习记录.mdDay04_学习记录.md 记录:

项目要写什么
vocab size词表里有多少词
embedding dim每个词向量几维
center word shape中心词张量 shape
context word shape上下文词张量 shape
negative samples负样本是什么

Day 5:形成一页论文笔记

一页笔记不要写成翻译,按这个结构:


论文:word2vec

一句话贡献:

研究问题:

核心方法:

最小代码对应:

我能讲清楚的部分:

我还不懂的部分:

Day 6:3 分钟口头表达

推荐稿件结构:

  1. 20 秒:word2vec 解决什么问题。
  2. 50 秒:为什么 one-hot 不够。
  3. 60 秒:skip-gram 如何用中心词预测上下文。
  4. 40 秒:negative sampling 为什么降低成本。
  5. 30 秒:这个思想如何通向 Transformer 的 token embedding。

Day 7:复盘

只问 5 个问题:

  1. 我能不能不用 AI 解释 embedding?
  2. 我能不能说清楚 loss 是怎么来的?
  3. 我能不能指出 notebook 里最关键的 2 个 tensor shape?
  4. 我能不能说出 word2vec 不是完整语言模型?
  5. 我能不能把一个不懂的问题问具体?

第一周合格标准

证据合格表现
Day01-Day07 学习记录每天至少有 3 句话是自己的理解
word2vec 一页笔记有研究问题、方法、代码对应和局限
notebook 输出至少记录 3 个 shape
口头表达能讲 3 分钟,不照读 AI 答案
薄弱点至少写出 3 个具体问题

给 AI 的第一周陪练提示词


你是我的深度学习入门陪练。请根据我第一周的学习记录检查我是否真的理解 word2vec。



要求:

1. 先问我 5 个追问,不要直接讲答案

2. 追问必须覆盖 embedding、context window、negative sampling、loss、tensor shape

3. 根据我的回答指出最薄弱的一点

4. 给我一个 30 分钟补救任务



我的记录:

【粘贴 Day01-Day07、word2vec 笔记、notebook 输出】