Chinchilla 个人论文笔记
Chinchilla 个人论文笔记
基本信息
- 标题：Training Compute-Optimal Large Language Models
- 年份：2022
- 主题：compute-optimal training
- 对应 notebook：
dl_06_scaling_law_chinchilla_toy.ipynb
一句话总结
这篇论文主要研究：给定计算预算时，参数和 token 数如何平衡。
研究问题
-
方法
- 使用了什么模型或方法：
- 为什么适合这个问题：
- 我还不理解的技术细节：
和最小复现的关系
- notebook 复现了论文中的哪一个核心机制：
- notebook 没有覆盖论文的哪些部分：
- 我能解释的 compute-optimal toy 输出：
5 分钟组会稿
大家好，我今天汇报的论文是 Chinchilla。这篇论文关注的问题是……
可能被追问的问题
1. 2. 3. 4. 5.
理解边界声明
我目前能解释：
-
我还不能声称掌握：
-