第一周启动包
第一周启动包
一句话定义
第一周只做一件事:把“深度学习是怎么从数据中学表示”这件事讲清楚,并用 word2vec notebook 跑出最小证据。
解决什么问题
很多初学者一上来就看 Transformer,会卡在三个地方:
- 不知道向量、loss、gradient 在干什么。
- 不知道 embedding 为什么是语言模型的入口。
- 论文看得懂中文翻译,但无法连接到代码。
第一周的任务是先把这三个问题压到可控范围。
第 0 天:先做诊断
先完成 入门诊断测试.md。如果总分低于 4 分,不要急着读完整论文,先把 Day 1-Day 3 拆慢:
| 原任务 | 放慢版本 |
|---|---|
| Day 1 看整体地图 | 只解释 tensor、loss、gradient |
| Day 2 读 word2vec 摘要和引言 | 只找出“词如何变成向量”这个问题 |
| Day 3 跑 notebook 前半部分 | 只跑 embedding 和 context window 部分 |
Day 1:深度学习整体地图
直觉解释
深度学习不是先写规则,而是让模型从样本中调整参数,使预测结果越来越接近目标。
专业表达
深度学习通过可微分模型、损失函数和梯度优化,在大规模数据中学习多层表示。第一周只需要理解:输入被编码成 tensor,模型输出预测,loss 衡量预测错误,gradient 指导参数更新。
最小产出
在 daily_logs/Day01_学习记录.md 写下:
- tensor 的一个例子。
- loss 的一句话解释。
- gradient 的一句话解释。
- 一个仍然不懂的问题。
可以追问老师/同学
我现在把深度学习理解为“用 loss 和 gradient 学参数化表示”。这个说法在入门阶段是否足够?还缺哪一块?
Day 2:word2vec 的研究问题
直觉解释
word2vec 想解决的是:怎样让机器把词变成向量,而且这些向量能反映语义关系。
专业表达
word2vec 将词表示为 dense vector,并通过上下文预测任务学习词的分布式表示。它的关键不是“词典编码”,而是让相似上下文中的词在向量空间中更接近。
最小产出
在 paper_notes/01_word2vec.md 补 4 句:
- 研究问题是什么。
- 方法直觉是什么。
- 实验证明了什么。
- 自己还不懂什么。
Day 3-Day 4:跑 word2vec notebook
先看什么
打开 ../07_notebooks/dl_01_word2vec_embeddings.ipynb,只盯住 3 件事:
- 输入词如何变成 id。
- id 如何查 embedding table。
- 正样本和负样本如何形成 loss。
必须记录的输出
在 daily_logs/Day03_学习记录.md 或 Day04_学习记录.md 记录:
| 项目 | 要写什么 |
|---|---|
| vocab size | 词表里有多少词 |
| embedding dim | 每个词向量几维 |
| center word shape | 中心词张量 shape |
| context word shape | 上下文词张量 shape |
| negative samples | 负样本是什么 |
Day 5:形成一页论文笔记
一页笔记不要写成翻译,按这个结构:
论文:word2vec
一句话贡献:
研究问题:
核心方法:
最小代码对应:
我能讲清楚的部分:
我还不懂的部分:
Day 6:3 分钟口头表达
推荐稿件结构:
- 20 秒:word2vec 解决什么问题。
- 50 秒:为什么 one-hot 不够。
- 60 秒:skip-gram 如何用中心词预测上下文。
- 40 秒:negative sampling 为什么降低成本。
- 30 秒:这个思想如何通向 Transformer 的 token embedding。
Day 7:复盘
只问 5 个问题:
- 我能不能不用 AI 解释 embedding?
- 我能不能说清楚 loss 是怎么来的?
- 我能不能指出 notebook 里最关键的 2 个 tensor shape?
- 我能不能说出 word2vec 不是完整语言模型?
- 我能不能把一个不懂的问题问具体?
第一周合格标准
| 证据 | 合格表现 |
|---|---|
| Day01-Day07 学习记录 | 每天至少有 3 句话是自己的理解 |
| word2vec 一页笔记 | 有研究问题、方法、代码对应和局限 |
| notebook 输出 | 至少记录 3 个 shape |
| 口头表达 | 能讲 3 分钟,不照读 AI 答案 |
| 薄弱点 | 至少写出 3 个具体问题 |
给 AI 的第一周陪练提示词
你是我的深度学习入门陪练。请根据我第一周的学习记录检查我是否真的理解 word2vec。
要求:
1. 先问我 5 个追问,不要直接讲答案
2. 追问必须覆盖 embedding、context window、negative sampling、loss、tensor shape
3. 根据我的回答指出最薄弱的一点
4. 给我一个 30 分钟补救任务
我的记录:
【粘贴 Day01-Day07、word2vec 笔记、notebook 输出】