Scaling Law 个人论文笔记

综合实践 · 12_深度学习原理与经典论文路线/paper_notes/08_scaling_law.md

Scaling Law 个人论文笔记

基本信息

• 标题：Scaling Laws for Neural Language Models
• 年份：2020
• 主题：规模规律 / 经验规律
• 对应 notebook：dl_06_scaling_law_chinchilla_toy.ipynb

一句话总结

这篇论文主要研究：模型性能如何随参数、数据、计算量变化。

研究问题

-

方法

• 使用了什么模型或方法：
• 为什么适合这个问题：
• 我还不理解的技术细节：

和最小复现的关系

• notebook 复现了论文中的哪一个核心机制：
• notebook 没有覆盖论文的哪些部分：
• 我能解释的 toy loss / compute budget 输出：

5 分钟组会稿

大家好，我今天汇报的论文是 Scaling Law。这篇论文关注的问题是……

可能被追问的问题

1. 2. 3. 4. 5.

理解边界声明

我目前能解释：

-

我还不能声称掌握：

-