Training Compute-Optimal Large Language Models Jordan Hoffmann★, Sebastian Borgeaud★, Arthur Mensch★, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de - 全部中文论文
translated: 2026-07-16
title: "Training Compute-Optimal Large Language Models Jordan Hoffmann★, Sebastian Borgeaud★, Arthur Mensch★, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de" aliases: - "Chinchilla" - "arXiv:2203.15556" source: "https://arxiv.org/abs/2203.15556" arxiv: "2203.15556" created: 2026-07-16 type: paper-translation status: translated tags: - paper - ml - deep-learning
Training Compute-Optimal Large Language Models Jordan Hoffmann★, Sebastian Borgeaud★, Arthur Mensch★, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de - 全部中文论文
Page 1
<a id="S0001"></a> 训练计算-奥普蒂玛尔大语言模型 乔丹·霍夫曼-,塞巴斯蒂安·博尔高德-,亚瑟·门施-,埃琳娜·布恰特斯卡娅,特雷弗·蔡,以利萨·卢瑟福,迭戈·德·拉斯·卡萨斯,丽莎·安妮·亨德里克斯,约翰内斯·韦尔布尔,艾丹·克拉克,汤姆·亨尼根,埃里克·诺兰,凯蒂·米利坎,乔治·范登德瑞斯切,博格丹·达莫克,奥雷利亚·盖伊,西蒙·奥辛多,凯伦·西蒙扬,埃里希·埃尔森,杰克·W.
<a id="S0002"></a> Rae、Oriol Vinyals和Laurent Sifre 我们调查在一定的计算预算下培训变压器语言模型的最佳模型大小和符号数量。
<a id="S0003"></a> 我们发现,目前大型语言模型培训严重不足,这是最近注重在保持培训数据数量不变的同时扩大语言模型的结果。
<a id="S0004"></a> 通过培训400多个语言模型,从7 000万到160多亿参数的50至5 000亿令牌,我们发现,就计算最佳培训而言,模型大小和培训标志的数目应同样加以扩大:模型大小每翻一番,培训标志的数目也应增加一倍。
<a id="S0005"></a> 我们通过训练一个预测的计算最佳模型Chinchilla来测试这个假说,这个模型使用与Gopher相同的计算预算,但有70B参数和4×更多的数据.
<a id="S0006"></a> Chinchilla在Gopher(280B),GPT-3(175B),侏罗纪-1(178B),以及威震天-图灵NLG(530B)等一系列下游评价任务上,都得到统一和显著的超越.
<a id="S0007"></a> 这也意味着钦奇拉在微调和推论时使用的计算要少得多,大大地方便了下游的使用.
<a id="S0008"></a> 作为亮点,Chinchilla在MMLU基准上达到了最先进的平均精度为67.5%,比Gopher改进了7%以上. 1. 联合国
<a id="S0009"></a> 最近推出了一系列大型语言模型(LLMs) (Brown等,2020年;Lieber等,2021年;Rae等,2021年;Smith等,2022年;Thoppilan等,2022年),目前最大的密集语言模型拥有超过5000亿个参数.
<a id="S0010"></a> 这些大型自转变速器(Vaswani等,2017年)运用了"零发","少发","微调"等多种评价协议,在许多任务上表现出了令人印象深刻的性能.
<a id="S0011"></a> 培训大型语言模型的计算和能耗相当高(Rae等人,2021年;Thoppilan等人,2022年),随着模型尺寸的增加而上升.
<a id="S0012"></a> 实际上,分配的培训计算预算往往事先知道:有多少加速器可供使用,以及我们希望使用多久。
<a id="S0013"></a> 由于通常只有一次训练这些大型模型才可行,准确估计特定计算预算的最佳模型超参数至关重要(Tay等人,2021年)。
<a id="S0014"></a> Kaplan等 (2020年) 显示自旋语言模型(LM)中的参数数量与其性能之间有权力法关系.
<a id="S0015"></a> 因此,外地一直在培训规模更大、规模更大的模式,期望业绩得到改善。
<a id="S0016"></a> Kaplan等人(2020年)的一个显著结论是,不应对大型模型进行尽可能低的损失程度的培训,以便进行最佳计算。
<a id="S0017"></a> 虽然我们得出了同样的结论,但我们估计,大型型号的培训应比作者推荐的要多得多。
<a id="S0018"></a> 具体地说,由于计算预算增加了10××,他们建议模型的尺寸应该增加5.5×,而训练符的数量应该只增加1.8×.
<a id="S0019"></a> 相反,我们认为,模型的规模和训练标志的数量应该以同样的比例加以扩大。
<a id="S0020"></a> 继Kaplan等人(2020年)和GPT-3的培训设置(Brown等人,2020年)之后,许多最近培训的大型模型都接受了大约3000亿令牌的培训(表1),这符合在计算量增加时主要增加模型规模的方法.
<a id="S0021"></a> 对应作者: {jordanhoffmann|sborgeaud|amensch|sifre}@deepmind.com} 2023 DeepMind.
<a id="S0022"></a> 版权所有:2202 RAM 92]LC.sc [1v65551.3022:viXra
Page 2
<a id="S0023"></a> 1T 100B 10B 1.0B 100M 10M 1017 1019 1021 1023 FLOPs sretemaraP 方法 1 方法 2 方法 3 Kaplan等 (2020) Chinchilla (70B) Gopher (280B) GPT-3 (175B) 威震天-图灵 NLG (530B) 图1 + 重叠预测.
<a id="S0024"></a> 我们用我们三种不同方法的预测以及Kaplan等人(2020年)的预测加以叠加。
<a id="S0025"></a> 我们发现,所有三种方法都预测,目前的大型模型应大大地小一些,因此培训的时间要长得多。
<a id="S0026"></a> 在图A3中,我们用预测的最佳符号,对照固定的FLOP预算的最佳参数,来显示结果。
<a id="S0027"></a> Chinchilla超越了Gopher和其他大型模型(见第4.2节)。
<a id="S0028"></a> 在这项工作中,我们重新讨论一个问题:鉴于固定的固定成本操作程序预算,一个权衡模型的规模和培训标志的数量如何?
<a id="S0029"></a> 为了回答这个问题,我们模拟最后的训练前损失2L(N,D),作为模型参数N的数量的函数,以及训练符的数量 D.
<a id="S0030"></a> 由于计算预算C是一种确定性函数FLOPs(N,D)所见训练符和模型参数的数量,我们有兴趣在约束FLOPs(N,D)=C:N(C),D(C)=argmin L(N,D)(1)选择选取N,D s.t.
<a id="S0031"></a> FLOPs(N,D)=C 函数N(C)和D(C)描述计算预算C的最佳分配.
<a id="S0032"></a> 我们选择以经验为选择,根据400多个模型的损失来估计这些功能,从70M以下到16B以上参数,并接受5B到400B以上符号的培训 — — 每个模型配置都接受过若干不同培训视野的培训。
<a id="S0033"></a> 我们的做法与Kaplan等人的做法(2020年)的结果大相径庭。
<a id="S0034"></a> 我们在图1中强调了我们的成果,以及在第2节中我们的做法有何不同。
<a id="S0035"></a> 根据我们估计的计算 - 最佳边疆,我们预测,对于用来训练Gopher的计算预算来说,一个最佳模式应该小于4倍,同时是4倍于代币的训练.
<a id="S0036"></a> 我们通过在1.4万亿个符号上 训练一个更计算最优的70B模型来验证这一点。
<a id="S0037"></a> 钦奇拉不仅表现优于其更大的对口单位Gopher,而且其模型尺寸的缩小大大降低了推论成本并大大地方便了下游对更小的硬件的使用.
<a id="S0038"></a> 大型语言模型的能耗通过它用来推论微调而得到摊还.
<a id="S0039"></a> 因此,经过更优化培训的更小型模式的好处超出了其业绩改善的直接好处。 1 例如,知道加速器的数量和目标培训期限。 2 简而言之,我们对顺利的训练损失进行分析,这是对试验损失的无偏见估计,因为我们处于无限的数据制度中(训练标志的数量少于整个教程中的标志数量)。 2个
Page 3
<a id="S0040"></a> 我们展示了5个目前最大的密集变压器模型,它们的大小,以及训练符号的数量.
<a id="S0041"></a> 除了LAMDA(Thoppilan等,2022年)之外,大多数型号都接受了约3000亿个活符的训练.
<a id="S0042"></a> 我们介绍Chinchilla, 一个相当小的模型, 训练时间远超过300B个符号。
<a id="S0043"></a> 型号尺寸(#参数) 训练Tokens LaMDA(Thoppilan等,2022年) 137亿 168亿 GBT-3(Brown等,2020年) 175亿 300亿 侏罗纪(Lieber等,2021年) 178亿 300亿 Gopher(Rae等,2021年) 280亿 300亿 MT-NLG 530 B(Smith等,2022年) 530亿 270亿 Chinchilla 70亿 1.4 三相 2.
<a id="S0044"></a> 相關"工作"大语言模型. 过去几年中引入了多种大型语言模式.
<a id="S0045"></a> 其中包括密集变压器模型(Brown等,2020年;Lieber等,2021年;Rae等,2021年;Smith等,2022年;Thoppilan等,2022年)和专家混合物模型(Du等,2021年;Fedus等,2021年;Zoph等,2022年)。
<a id="S0046"></a> 最大的密集变压器已经通过了5000亿个参数(Smith等,2022年).
<a id="S0047"></a> 培训更大和更大的模型的驱动力是明确的——到目前为止,语言模型的规模正在扩大,这在许多语言建模任务中一直有助于改进最新技术。
<a id="S0048"></a> 尽管如此,大型语言模型仍面临若干挑战,包括它们压倒一切的计算要求(培训和推论费用随着模型大小而增加)(Rae等人,2021年;Thoppilan等人,2022年)和需要获得更高质量的培训数据。
<a id="S0049"></a> 事实上,我们发现,在这项工作中,更大的高质量数据集将在任何进一步扩展语言模型方面发挥关键作用。
<a id="S0050"></a> 了解语言模型的缩放行为及其传入属性,对近期大型模型的开发具有重要意义(Hernandez等,2021;Kaplan等,2020年).
<a id="S0051"></a> Kaplan等人(2020年)首先显示了模型大小与损失在许多数量级上之间的可预见关系.
<a id="S0052"></a> 作者调查了选择最佳模型规模来培训特定计算预算的问题。
<a id="S0053"></a> 与我们一样,他们通过培训各种模式来解决这一问题。
<a id="S0054"></a> 我们的工作在几个重要方面与Kaplan等人(2020年)不同.
<a id="S0055"></a> 首先,作者对所有模型使用固定数量的训练符号和学习率表;这使他们无法模拟这些超参数对损失的影响.
<a id="S0056"></a> 相比之下,我们发现,设定大致与培训标志数量相匹配的学习率时间表,无论模型大小,都会导致最佳最终损失——见图A1。
<a id="S0057"></a> 对于130B符号的固定学习速度表,中间损失估计值(D(cid:48) + 130B)因此高估了受训练的、与D(cid:48)相匹配的进度长度模型的损失。
<a id="S0058"></a> 利用这些中间损失导致低估了培训模型在低于130B令牌数据上的有效性,最终有助于得出模型大小应比培训数据大小更快地增加的结论,因为计算预算增加.
<a id="S0059"></a> 相比之下,我们的分析预测,这两个数量的规模应大致相同。
<a id="S0060"></a> 第二,我们包括了最多16B参数的模型,因为我们注意到FLOP-损失边框(见附录E)有微小的曲率——事实上,我们分析中使用的大多数模型有5亿多参数,而Kaplan等人(2020年)的大多数参数则小得多——许多参数不到100M参数。
<a id="S0061"></a> 最近,Clark等人(2022年)专门研究了3号专家混合物的缩放特性。
Page 4
<a id="S0062"></a> 语言模型显示,随着模型大小的增加,与专家人数相适应的缩放会减少——它们的方法将损失作为两个变量的函数:模型大小和专家人数。
<a id="S0063"></a> 然而,如Kaplan等人(2020年)所述,分析使用固定数量的培训符号,可能低估了分支的改进。
<a id="S0064"></a> 估计大型模型的超参数。
<a id="S0065"></a> 模型大小和训练符号数量并不是选择语言模型和训练程序时唯一可以选择的两个参数.
<a id="S0066"></a> 其他重要因素有:学习率,学习率时间表,批量大小,可选择性,和宽与深度之比.
<a id="S0067"></a> 在这项工作中,我们注重模型大小和培训步骤的数量,我们依靠现有工作,并提供实验性休克来决定其他必要的超参数.
<a id="S0068"></a> 杨等 (2021)调查了如何选择这些参数中的各种参数来训练自转变压器,包括学习速度和批量大小.
<a id="S0069"></a> McCandlish等 (2018) 发现在最佳批量大小和模型大小之间只有微弱的依赖.
<a id="S0070"></a> Shalue等人(2018年);Zhang等人(2019年)表示,使用比我们使用的大批量尺寸是可能的.
<a id="S0071"></a> Levine等(2020年)调查了各种标准模型尺寸的最佳深度与宽比.
<a id="S0072"></a> 我们使用的模型比提议的要少一点,因为这将意味着我们硬件上的时钟性能更好。
<a id="S0073"></a> 最近,提出了各种有希望的替代传统密集变压器的办法。
<a id="S0074"></a> 例如,通过有条件的计算大型MOE模型,如1.7万亿参数开关变压器(Fedus等,2021年),1.2特里利昂参数GLAM模型(Du等,2021年)等(Artetxe等,2021年;Zoph等,2022年),尽管使用相对较少的培训和推论FLOPs,但能够提供大型有效的模型尺寸.
<a id="S0075"></a> 然而,对于非常大的模型,路由模型的计算效益似乎正在减少(Clark等人,2022年)。
<a id="S0076"></a> 改进语言模型的正统方法是用明确的检索机制来增强变压器,Borgeaud等人(2021年)、Guu等人(2020年)、Lewis等人(2020年)就是这样做的。
<a id="S0077"></a> 这种方法有效地增加了在培训期间看到的数据符号数量(在Borgeaud等人(2021年)的系数为10)。
<a id="S0078"></a> 这表明,语言模型的性能可能比以前想象的更依赖于培训数据的规模。 3个
<a id="S0079"></a> 估计最佳参数/培训标志的分配 我们提出了三种不同的方法来回答驱动我们研究的问题:鉴于固定的FLOPs预算,一个取舍模型的规模如何和训练符号的数量如何?
<a id="S0080"></a> 在所有这三种情况下,我们首先培训一系列模型,这些模型既包括模型大小,也包括培训标志的数量,并使用由此产生的培训曲线,以适应对模型应如何扩大的经验估计。
<a id="S0081"></a> 我们假设计算和模型大小之间的权力法关系,如Clark等人(2022年);Kaplan等人(2020年)所做的那样,尽管今后的工作可能希望将大型模型大小的潜在曲率纳入这种关系。
<a id="S0082"></a> 由此得出的预测在所有三种方法中都是相似的,并表明应同样增加参数数和培训信使的数量,同时进行更多的计算3——比例见表2。
<a id="S0083"></a> 这与以往关于这一专题的工作明显相反,值得作进一步调查。 3 如附录F. 4所描述,我们计算FLOP
Page 5
<a id="S0084"></a> 6.0 5.5 5.0 4.5 4.5 4.0 3.0 2.5 1017 1018 1019 1020 1021 FLOPS sol gniniarT 10B 5B 1012 2.5B 1B 1011 500M 250M 1010 75M 109 1017 1019 1021 1023 1025 FLOPs snekoT 1T 1.5T 100B 10B 1.0B 100M 1017 1019 1021 1023 FLOPs sretemaraP 67B 图2 训练曲线信封.
<a id="S0085"></a> 在左边,我们展示我们所有不同的跑步。
<a id="S0086"></a> 我们推出了一系列从70M到10B的模型尺寸,每个模型长度为四个不同的余弦循环长度.
<a id="S0087"></a> 从这些曲线上,我们提取出每个FLOP最小损失的信封,我们用这些分数来估计给定计算预算的最佳模型大小(中)和最佳训练符(正数).
<a id="S0088"></a> 在绿色中,我们根据用于训练Gopher的FLOP数量(5.76×1023),显示对最佳模型大小和训练符的预测. 3.1 (英语).
<a id="S0089"></a> 办法1:确定模式尺寸并改变培训标志的数目 在我们的第一种方法中,我们为一组固定模式(从70M到超过10B参数)的训练步骤,为4个不同数量的训练序列培训每个模式。
<a id="S0090"></a> 从这些作业中,我们可以直接得出对特定数量的FLOP培训所实现的最低损失的估计。
<a id="S0091"></a> 这一方法的培训细节见附录D。
<a id="S0092"></a> 对于每个参数,我们训练了4个不同的模型,使学习率在(以训练标志数量衡量)的平面上以10×为因子衰减,以16×为因子.
<a id="S0093"></a> 然后,每跑一次,我们平滑 然后插入训练损失曲线。
<a id="S0094"></a> 从这里,我们从FLOP计数到每跑的训练损失获得连续的映射.
<a id="S0095"></a> 然后,对于每个FLOP计数,我们确定哪个运行实现最低损失.
<a id="S0096"></a> 利用这些插件,我们从任何FLOP C 计数器中获取一个绘图,以便最高效地选择型号为 N 和 D 的训练符数,使FLOPs(N,D) = C. 在1500对数相间距的FLOP值中,我们发现哪个模型大小实现了所有模型的最低损失,以及所需的训练令牌数量.
<a id="S0097"></a> 最后,我们与权力法相适应,用来估计任何特定数量的计算(见图2的中和右面板)的最佳模型大小和训练信使数量,获得N-Q-Ca和D-Q-Cb的关系.
<a id="S0098"></a> 我们的选择是,如表2所概述,a=0.50,b=0.50。
<a id="S0099"></a> 在D.4节中,我们利用我们的分析以及Kaplan等人(2020年)的分析所建议的模型大小,在1021 FLOPs上进行了头对头比较——使用我们预测的模型大小有明显的优势。 3.2 (中文(简体) ).
<a id="S0100"></a> 方法2:IsoFLOP简介 在我们的第二种方法中,我们对9个不同培训FLOP计数的固定组合的型号5(从6×1018到3×1021FLOP不等)进行了修改,并考虑每个点7的最后培训损失. 与在整个培训过程中考虑要点(N、D、L)的方法1形成对比。
<a id="S0101"></a> 这使得我们能直接回答一个问题:对于一个给定的FLOP预算,什么是最佳参数计数? 4 注意所有选定的点数都在培训的最后15%之内。
<a id="S0102"></a> 这表明,在培训一个模型时,我们应该选取一个余弦周期长度,在大约D符号上衰减为10××-详见附录B。 6 培训标志的数量由模型大小和培训FLOP决定. 7 我们设定了同位素排程长度,以配合符数,根据附录B. 5中的分析,这是最佳的.
Page 6
<a id="S0103"></a> 3.2 3.0 2.8 2.6 2.4 2.2 2.0 100M 300M 1B 3B 6B 30B 参数ssoL gniniarT 1T 100B 6e18 1e19 10B 3e19 6e19 1e20 1e21 100M 3e20 6e20 1e21 1017 1019 1021 1023 1025 FLOPs sretemaraP 10T 1T 63B 100B 1017 1019 1021 1023 1025 FLOPs snekoT 1.4T 图3 |-| IsoFLOP曲线.
<a id="S0104"></a> 对于各种模型大小,我们选择训练符号的数量,这样最终的FLOP就是一个常数.
<a id="S0105"></a> 余弦周期长度设定与目标FLOP计数相匹配.
<a id="S0106"></a> 我们发现一个清晰的谷地在损失中,这意味着对于一个特定的FLOP预算,有一个训练的最佳模式(左方).
<a id="S0107"></a> 利用这些山谷的位置,我们为更大的模型(中和正中)预测出最佳的模型大小和符数.
<a id="S0108"></a> 在绿色中,我们显示一个通过Gopher的计算预算培训的最佳模型的估计参数和符号数量。
<a id="S0109"></a> 对于每个FLOP预算,我们比照图3(左)中的参数计数来绘制最终损失(平滑后).
<a id="S0110"></a> 在所有情况下,我们确保我们训练了足够多的一套模型大小,以看到损失的明确最低程度。
<a id="S0111"></a> 我们在每个IsoFLOPs曲线上安装一个抛物线来直接估计最小损失的模型大小(图3(左))。
<a id="S0112"></a> 与先前的做法一样,我们然后在FLOPs与损失-最佳模型大小和培训标志数量之间适用权力法,如图3(中,正)所示。
<a id="S0113"></a> 我们再次采用了表2.3.3中概述的N + Ca和D + Cb表格的缩写,我们发现选择a=0.49和b=0.51。
<a id="S0114"></a> 方法 3:搭配参数损失函数 最后,我们模拟了方法 1 和 2 中实验的所有最终损失,作为模型参数计数的参数函数和所见出值的数目。
<a id="S0115"></a> 在传统的风险分解(见D.2节)之后,我们提出以下功能形式:A B Lˆ (N, D)(编:44) E + +. (2) Nα Dβ 第一个术语捕捉到数据分布上一个理想的基因过程的损失,并应该对应自然文本的 en.
<a id="S0116"></a> 第二个术语捕捉到一个完全训练有素的有N参数的变压器表现得不尽人意的基因过程.
<a id="S0117"></a> 最终的术语捕捉到一个事实,即变压器没有接受过趋同训练,因为我们只在数据集分布的样本上作出有限的优化步骤.
<a id="S0118"></a> 估计(A、B、E、α、β),我们利用L-BFGS算法将预测和观测到的日志损失(Huber,1964年)最小化(Nortedal,1980年):min ∑︁ Huber (cid:16) log Lˆ (N、D)-log L (cid:17)(3) i i i i A,B,E,α,β runs i 我们通过从初始化的网格中选择最合适的位置,来说明当地可能存在的次要因素。
<a id="S0119"></a> Huber损失( = 10- 3) 强劲到异常值, 我们认为这对在被搁置的数据点上良好的预测性能很重要。
<a id="S0120"></a> D.2节详细介绍了适当的程序和损失分解情况。 6个
Page 7
<a id="S0121"></a> 100B 40B 10B 1B 100M 1018 1019 1020 1021 1022 1023 Gopher预算 培训FLOPs ezis ledudoM IsoLoss轮廓 5.00 4.00 3.00 高效前沿经验数据 2.00 IsoFLOPs切入ssoL IsoFLOPs切入列车.
<a id="S0122"></a> FLOPs 6e+18 1e+19 3e+19 6e+19 1e+20 3e+20 6e+20 1e+21 3e+21 Gopher 100M 1B 10B 40B 型号尺寸 图4 QQ 参数适中.
<a id="S0123"></a> 我们安装了LQQ(N, D)损失的参数模型,并显示等宽(左)和等宽(正)切片。
<a id="S0124"></a> 对于每个等同FLOP切片,我们在左边的地块中包含一个相应的虚线.
<a id="S0125"></a> 在左边的图中,我们用蓝色显示高效的前沿,这是日志空间中的一行.
<a id="S0126"></a> 具体地说,曲线通过每个同位素-损失轮廓,最少的FLOP.
<a id="S0127"></a> 根据Gopher FLOP的预算,我们预测最佳模型大小为40B参数。
<a id="S0128"></a> 我们可以通过最小化FLOPs(N, D) → 6N D(Kaplan等,2020年)的约束下的参数损失LQX来估算函数 N 选择和D选择。
<a id="S0129"></a> 由此产生的N和D选择选择平衡了方程式(3)中取决于模型大小和数据的两个术语.
<a id="S0130"></a> 通过构造,它们具有功率法形:N(C)=G(Cid:18)C(Cid:19) a,D(C)=G−1(Cid:18)C(Cid:19)b,其中G=(Cid:18)αA(Cid:19)α+ 1β,a=β,b=α. (4)选取6选取6βB α + β + β. 我们在图4(左)中显示安装函数LQQ的轮廓,并显示蓝色的封闭式高效计算边框。
<a id="S0131"></a> 从这一方法中,我们发现,如表2.3.4所概括,a=0.46和b=0.54。
<a id="S0132"></a> 优化模型缩放 我们发现,尽管采用了不同的适当方法和不同的训练有素的模型,但三种方法对参数和标志的最佳缩放作了可比较的预测(见表2)。
<a id="S0133"></a> 所有三种办法都建议,随着预算的计算增加,模型的规模和培训数据的数量应大致以相同的比例增加。
<a id="S0134"></a> 如图1和图A3所示,第一和第二种方法对最佳模型大小的预测非常相似。
<a id="S0135"></a> 第三种办法预测,在较大的计算预算方面,更小的模型是最佳的。
<a id="S0136"></a> 我们注意到,低训练FLOPs(C(cid:54) 1e21)所观察到的分数(L,N,D)所剩分数(Cid:107)L-L-(N,D)(Cid:107)2比计算预算较高的分数多.
<a id="S0137"></a> 装配的模型增加了两个分量,即,由于Huber号损失,自动考虑到低计算预算分数的分数高于分数。
<a id="S0138"></a> 由于从经验上观察到前沿C-N的负曲率(见附录E),因此预测N比选取的其他两种办法要低。
<a id="S0139"></a> 在表3中,我们列出了可确保一定规模的模型位于计算-最佳边框的FLOP和标志的估计数量。
<a id="S0140"></a> 我们的调查结果表明,当代7人
Page 8
<a id="S0141"></a> 表2 估计参数和数据规模,增加培训计算。
<a id="S0142"></a> 列出的值是关系N QQ Ca 和 D Q Cb 的代词 a和b.
<a id="S0143"></a> 我们的分析建议,选择在参数和数据上采用近乎等同的缩放方法,同时增加计算,这与以往关于大型模型缩放的工作明显相反。
<a id="S0144"></a> 第十百分位数和第九百分位数通过靴形数据估算(80%的数据集被抽样100次),并用括号显示.
<a id="S0145"></a> 靠近Coeff. a, N Q Ca Coeff. b, D Q Cb选择 1。
<a id="S0146"></a> 训练曲线上的最低曲线为0.50(0.488,0.502)0.50(0.501,0.512) 2.
<a id="S0147"></a> IsoFLOP剖面图0.49 (0.462, 0.534) 0.51 (0.483, 0.529) 3.
<a id="S0148"></a> 0.46 (0.454, 0.455) 0.54 (0.542, 0.543) Kaplan等 (2020) 0.73 0.27 表3 各种模型尺寸的最佳培训工具和培训标志。
<a id="S0149"></a> 对于各种模型大小,我们从方法1中可以预测,培训计算最佳模型需要多少FLOP和训练标志。
<a id="S0150"></a> 方法2和3的估计数相近(见D.3节) 参数FLOPs FLOPs(以Gopher为单位) Tokens 400 million 1.92e+19 1/29,968 8.0 million 1 million 1.21e+20 1/4,761 20.2 million 1.23e+22 1.46 205.1 million 5.76e+23 1 1.5 million 3.85e+24 6.7 3.7 million 280 million 9.90e+24 17.2 5.9tillion 520 million 3.43e+25 59.5 11.0 million 1 Trillion 1.27e+26 221.3 21.2 Tillion 10 million 1.30e+28 22515.9 216.2 如图1所显示的,考虑到各大语言模型的计算预算,其规模大大过大。
<a id="S0151"></a> 例如,我们发现,1,750亿个参数模型应接受培训,计算预算为4.41×1024 FLOP和超过4.2万亿令牌。 一个2 800亿戈弗式的模型是最佳的模型,用来训练大约1025个FLOP的计算预算,应该训练6.8万亿令牌。
<a id="S0152"></a> 除非一个人的计算预算为1026个FLOPs(超过250×用于训练Gopher的计算),否则1兆个参数模型不太可能成为训练的最佳模型.
<a id="S0153"></a> 此外,预计需要的培训数据数量远远超出目前用于培训大型模型的数据,并突出了除了进行工程改进以扩大模型规模之外,数据集收集工作的重要性。
<a id="S0154"></a> 虽然从许多数量级推算出有很大的不确定性,但我们的分析明确表明,鉴于目前许多有限责任公司的培训预算计算,应该对较小的模型进行更多标志性的培训,以达到最能发挥作用的模式。
<a id="S0155"></a> 在附录C中,我们转载了IsoFLOP对另外两个数据集的分析:C4(Raffel等人,2020年a)和GitHub代码(Rae等人,2021年)。
<a id="S0156"></a> 在这两种情况下,我们得出类似的结论,即示范规模和培训标志的数量应按比例按比例缩减。 第8条
Page 9
<a id="S0157"></a> 根据我们在第3节的分析 Gopher计算预算的最佳模型大小 大约在400到700亿个参数之间
<a id="S0158"></a> 由于数据集和计算效率方面的考虑,我们测试这一假说的方法是,对这一范围较大的一端进行模型——70B参数——用于1.4T令牌。
<a id="S0159"></a> 在这一节中,我们把这个叫做Chinchilla的模型与Gopher和其他LLMs进行比较。
<a id="S0160"></a> Chinchilla和Gopher都接受了同样数量的FLOP培训,但模型大小和培训符号数量不同.
<a id="S0161"></a> 虽然培训前的大型语言模型的计算成本相当高,但下游的微调和推断也构成大量的计算使用(Rae等人,2021年)。
<a id="S0162"></a> 由于比Gopher还小4×,Chinchilla的记忆足迹和推论成本也都较小. 4.1 (英语).
<a id="S0163"></a> 模式和培训细节 用于训练钦奇利亚的整套超参数见表4。
<a id="S0164"></a> Chinchilla除了以下列出的区别外,采用了与Gopher相同的模型架构和培训设置. • 我们在MassiveText(与Gopher相同的数据集)上培训Chinchilla,但使用一个稍有不同的子集分布(在表A1中显示)来说明培训信使数量增加的原因。 • 我们使用AdamW(Loshchilov和Hutter,2019年)为Chinchilla而不是Adam(Kingma和Ba,2014年),因为这在微调后改善了语言建模损失和下游任务性能。
<a id="S0165"></a> 词汇非常相近 — — 94. 15%的符文和用于训练Gopher的符文相同.
<a id="S0166"></a> 我们认为,这特别有助于数学和化学的代表性。 二. 支助 虽然前向和后向通行证以bfloat16计算,但我们在分布的Opimiser状态下储存了一份重量的浮标32副本(Rajbhandari等,2020年)。
<a id="S0167"></a> 更多详情见Rae等人(2021年)的经验教训。
<a id="S0168"></a> 在附录G中,我们显示了钦奇拉和戈斐之间各种与选取器相关的变化的影响。
<a id="S0169"></a> 本分析中的所有模型都接受了TPUv3/TPUv4(Jouppi等,2017年)与JAX(Bradbury等,2018年)和Haiku(Hennigan等,2020年)的培训.
<a id="S0170"></a> 我们在表A8中列入了一张钦奇拉模式卡(Mitchell等,2019年).
<a id="S0171"></a> 型号图层 编号 键/值 键/值 大小 d Max LR Batch 大小 型号 Gopher 280B 80 128 128 16 384 4 × 10−5 3M → 6M Chinchilla 70B 80 64 128 8 192 1 × 10−4 1.5M → 3M 表 4 → Chinchilla 架构细节.
<a id="S0172"></a> 我们列出层数,键/值大小,瓶颈激活大小d,最大学习率,以及训练批量大小(#令牌). 模式 向导大小始终被设定为 4 × d.
<a id="S0173"></a> 请注意,我们通过对Chinchilla和Gopher的模型训练,在中途将批量规模增加一倍。 8 令人感兴趣的是,受过AdamW训练的模型只经过了与Adam训练的模型在余弦周期中大约80%的训练表现,虽然结局表现明显更好(见图A7 9)
Page 10
<a id="S0174"></a>
Tasks example Language Modeling 20 WikiText-103, 皮勒: PG-19, arXiv, FreeLaw,.
<a id="S0175"></a> 阅读 Confederation 3 RACE-m, RACE-h, LAMBADA 答题 3 自然问题 TriviaQA, TrifefulQA Common Sense 5 HellaSwag, Winogrande, PIQA, SIQA, BoulQ MMLU 57 高中化学,天文学,临床知识,.
<a id="S0176"></a> BIG-Bench 62 Causal Cricument, Epistemic Reasoning, Timorary Sequences,.
<a id="S0177"></a> 我们通过收集语言建模和下游任务来评价钦奇拉.
<a id="S0178"></a> 我们评价的任务与Rae等人(2021年)基本相同,以便进行直接比较。 4.2 (英语).
<a id="S0179"></a> 结果 我们对Chinchilla进行了广泛的评价,比较了各种大语言模式。
<a id="S0180"></a> 我们对在Rae等人(2021年)中提出的大量任务进行评估,如表5所示。
<a id="S0181"></a> 由于这项工作的重点是优化模型规模,我们包括了一个具有代表性的大型子集,并引入了几个新的评价,以便与其他现有的大型模型进行更好的比较。
<a id="S0182"></a> 所有任务的评价细节与Rae等人(2021年)所述相同。
<a id="S0183"></a> 语言建模 stcartsba dembup retropxe hin sdnuorgkcab otpsu lartnec dembup cc elip 2 suprockoob egnahcxekcats seltitbusnepo 2txetbewnepo swenrektam md vixra waleerf 3skoob srepalihp buhtig crip-utnubu lraporue 91 gp grebnetug 0.10.08 0.06 0.04. 0.00 bpb ni esaerceD repoGot derapmoc图5 ile Pile评价.
<a id="S0184"></a> 对于The Pile(Gao等,2020年)中的不同评价集,我们显示与Gopher相比Chinchilla的比特(bpb)改进(减少).
<a id="S0185"></a> 在所有子集上,Chinchilla的性能都超过了Gopher.
<a id="S0186"></a> 如图5所示,Chinchilla在所有评价子集(Gao等人,2020年)上明显地超过了Gopher。
<a id="S0187"></a> 相较于侏罗纪-1(178B)Lieber等(2021),Chinchilla除了两个子集-dm 数学和ubuntu irc外,其他所有子集的性能都比较好,参见表A5的生比/字节比较.
<a id="S0188"></a> 在Wikitext103上(Merity等,2017年),钦奇拉实现了7.16的迷惑度,而高佛的迷惑度为7.75.
<a id="S0189"></a> 在将这些语言建模基准比作Chinchilla和Gopher时需要谨慎,因为Chinchilla比Gopher接受4×多数据培训,因此,培训/测试套件泄漏可能人为地增强结果。
Page 11
<a id="S0190"></a> 随机25.0% 人平均率34.5% GPT-3 5发43.9% Gopher 5发60.0% Chinchilla 5发67.6% 人类专家平均表现 89.8% 2022年6月 预测 57.1% 2023年6月 预测 63.4% 表6 大规模多任务语言理解(MMLU).
<a id="S0191"></a> 我们报告57项任务的平均5发精度,并用Hendrycks等人(2020年)提供的模型和人类精度比较。
<a id="S0192"></a> 我们还包括了斯泰因哈特(2021年)73个竞技人类预测员在2022/2023年6月对最新艺术精度所作的平均预测. 渗漏较少引起关注的任务,如MMLU(Hendrycks等,2020年)和BIG-bench(BIG-bench合作,2021年),以及各种闭库问答和常识分析。 4.2.2. (中文(简体) ).
<a id="S0193"></a> MMLU 大规模多任务语言理解(MMLU)基准(Hendrycks等,2020年)由一系列与考试相类似的学术课题问题组成.
<a id="S0194"></a> 在表6中,我们报告了钦奇拉在MMLU上的平均5发子弹的性能(结果的全部细目见表A6)。
<a id="S0195"></a> 在这个基准上,Chinchilla的性能大大地超过Gopher,尽管它比Gopher要小得多,平均精度为67.6%(Gopher改进了7.6%).
<a id="S0196"></a> 值得注意的是,Chinchilla甚至超过了专家2023年6月预测的63.4%的准确度(见表6)(Steinhardt, 2021)。
<a id="S0197"></a> 此外,钦奇拉在4个不同任务上的准确度超过90% — — 高中、大学、大学、社会学和外交政策。
<a id="S0198"></a> 据我们所知,没有任何其他模型在一个子集上取得了超过90%的精确度.
<a id="S0199"></a> 在图6中,我们显示与Gopher的比较,按任务分列。
<a id="S0200"></a> 总体而言,我们发现钦奇拉改进了绝大多数任务的业绩.
<a id="S0201"></a> 在四项任务(college mathematics, Economics, moral screenarios, and retroductal logic)上,钦奇拉表现不佳,两个任务的表现没有变化. 4.2.3 (中文(简体) ).
<a id="S0202"></a> 阅读理解 在最终词预测数据集LAMBADA(Paperno等,2016年)上,钦奇拉的精度为77.4%,而Gopher的精度为74.5%,MT-NLG530B的精度为76.6%(见表7)。
<a id="S0203"></a> 在RACE-h和RACE-m(Lai等人,2017年)上,Chinchilla的性能大大超过Gopher,在这两种情况下的精度都提高了10%以上——见表7.4.2.4。
<a id="S0204"></a> BIG-bench 我们分析了Chinchilla在Rae等人(2021年)所报道的同一套BIG-bench任务(BIG-bench合作,2021年).
<a id="S0205"></a> 与我们在MMLU中观察到的情况相类似,Chinchilla在绝大多数任务上的表现都超过了Gopher(见图7)。
<a id="S0206"></a> 我们发现Chinchilla的平均性能提高了10.7%,其精度达到65.1%而Gopher的精度为54.4%.
<a id="S0207"></a> 在我们考虑的62项任务中, Chinchilla 的表现比 Gopher 差 仅仅在四个- crash blossom, 暗- humor detection, 11
Page 12
<a id="S0208"></a> 硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫磺酰氟-硫 与Gopher相比,我们发现Chinchilla的成绩平均比Gopher高出7.6%(见表6),此外,在551/57的个人任务上表现更好,在2/57的任务上表现更佳,在4/57的任务上表现更差。
<a id="S0209"></a> Chinchilla Gopher GPT-3 MT-NLG 530B LAMBADA 0-Shot 77.4 74.5 76.2 76.6 RACE-m 几-Shot 86.8 75.1 58.1 - RACE-h 几-Shot 82.3 71.6 46.8 47.9 表7 阅读理解。
<a id="S0210"></a> 在RACE-h和RACE-m上(Lai等,2017年),Chinchilla比Gopher的性能有相当大的提高.
<a id="S0211"></a> 注意GPT-3和MT-NLG 530B使用与我们在RACE-h/m上不同的即时格式,因此结果与Gopher和Chinchilla不相上下.
<a id="S0212"></a> 在LAMBADA上(Paperno等,2016年),Chinchilla在Gopher和MT-NLG 530B上的表现都优于Gopher和MT-NLG. Mathematic induction and logical args.
<a id="S0213"></a> Chinchilla的完全准确结果见表A7.4.2.5。
<a id="S0214"></a> 常识 我们根据各种常识基准评价钦奇拉:PIQA(Bisk等,2020年),SIQA(Sap等,2019年),Winogrande(坂口等,2020年),HelaSwag(Zellers等,2019年)和BoolQ(Clark等,2019年).
<a id="S0215"></a> 我们发现Chinchilla在所有任务上都优于Gopher和GPT-3,在除一项任务外的所有任务上都优于MT-NLG 530B——见表8。
<a id="S0216"></a> 在"真理QA"(Lin等,2021)上,钦奇拉以0发,5发和10发分别达到43.6%,58.5%和66.7%的精度.
<a id="S0217"></a> 相形之下,高菲只实现了29.5%的0发和43.7%的10发精度.
<a id="S0218"></a> 与Lin等人(2021年)的调查结果形成鲜明对比的是,Chinchilla实现的大幅改进(以0发精度的14.1%)表明,单凭培训前数据的更好的建模就可以导致这一基准的重大改进. 第12条
Page 13
<a id="S0219"></a> russolb hsarc noitceted romuh kraid noitcudni lacitamtam sgra lacigol nosj egdelwonk lareneg eciohc elpitulum ses sinagro namigollys seicallaf lamro snowknu nomcang-nomcang-nomcineof-nomagturcit-s-nothamit-nouniguit-nit-nounimonigut-nit-nit-nitmonimonigut-nit-nitmonigut-nepit-nit-nominimongit-nit-nit-nitmonit-nit-nitmonit-nominogtuncentsucent-nomcent-nomcent-nomcent-nomcent-nomcent-nomcutcut-nocent- (原始内容存档于2018-10-29) (中文(中国大陆) ). Ednu strops ia sarc noitiutni lacisyhp snoit snoitaler ticilpmi sbrevorp hsilgne iln sa snoitisoppuserp noitadneimmocer eivom selbaf gnidnatsrednu nelooooob rohpatem scneuqes laropmet ecneuqes lacigol rohpatem ddo yfitnedi noisnephermoc gnidaer er erg too eno do ytirimis lacigolana). 120,100,80,60,40,20,20 tnemevorpmI evitaleR rehpoG revo 图7 相较于Gopher Chinchilla的BIG-bench结果,Gopher在除四个BIG-bench任务外的所有考虑中都完成了Gopher.
<a id="S0220"></a> 封闭式答题结果见表9。
<a id="S0221"></a> 在"自然问题"数据集(Kwiatkowski等,2019年)上,钦奇拉实现了新的封闭式SOTA加速:31.5%为5发和35.5%为64发,而Gopher分别为21%和28%.
<a id="S0222"></a> 在TriviaQA(Joshi等人,2017年)上,我们显示过滤器(以前用于检索和开本工作)和未过滤器(以前用于大语言模型评价)的结果。
<a id="S0223"></a> 在这两种情况下,Chinchilla基本上都执行Gopher。
<a id="S0224"></a> 在被过滤的版本上,Chinchilla只落后于开放版SOTA(Izacard and Grave,2020)7.9%.
<a id="S0225"></a> 在未过滤的装置上,Chinchilla的性能超过了GPT-3——见表9.4.2.7。
<a id="S0226"></a> 性别偏见和毒性大语言模型具有潜在风险,如输出攻击性语言、宣传社会偏见和泄露私人信息(Bender等,2021;Weidinger等,2021)。
<a id="S0227"></a> 我们期望钦奇拉承担类似戈佛的风险,因为钦奇拉接受过同样的数据培训,钦奇拉Gopher GPT-3 MT-NLG 530B 监督SOTA HellaSWAG 80.8% 79.2% 78.9% 80.2% 93.9% PIQA 81.8% 81.0% 82.0% 维诺格兰德 74.9% 70.1% 73.0% 91.3% SIQA 51.6% - 83.2% BoolQ 83.7% 79.3% 60.5% 78.2% 91.4% 表8 普通森斯基准的零拍比较。
<a id="S0228"></a> 我们在各种共同理智基准上对Chinchilla,Gopher和MT-NLG 530B进行了比较。
<a id="S0229"></a> 我们发现钦奇拉在所有任务上都比Gopher和GPT-3有匹配或表现.
<a id="S0230"></a> 除了一个Chinchilla之外,它比更大的MT-NLG 530B型号要好。 第13条
Page 14
<a id="S0231"></a> Method Chinchilla Gopher GPT-3 SOTA(开口书) 0射出16.6% 10.1% 14.6% 自然问题(德文) 5射出31.5% 24.5% - 54.4% 64射出35.5% 28.2% 0射出67.0% 52.8% TriviaQA(未过滤,测试) 5射出73.2% - 63.6% - 64射出72.3% - 61.3% 71.2% 0射出55.4% - TriviaQA(被过滤,德文) 5射出64.1% - 57.0% - 72.5% 64-shot 64.6% 57.2% - 表9 封闭图书问题回答。
<a id="S0232"></a> 对于自然问题(Kwiatkowski等,2019年)和TriviaQA(Joshi等,2017年),Chinchilla优于成绩. 在所有情况下都是Gopher
<a id="S0233"></a> 关于自然问题,Chinchilla的成绩超过了GPT-3.
<a id="S0234"></a> 在TriviaQA上,我们展示了两套不同评价的结果,以便与GPT-3进行比较,并打开了SOTA(FID + Distillation(Izacard and Grave, 2020))。 虽然相对重量稍有不同 因为它的建筑结构相似
<a id="S0235"></a> 在此,我们审查性别偏见(特别是性别和职业偏见)和产生有毒语言的问题。
<a id="S0236"></a> 我们选择了几项共同评价,以突出潜在的问题,但强调我们的评价并不全面,还有许多工作要做,以了解、评价和减轻有限责任方案的风险。
<a id="S0237"></a> 如Rae等人(2021年)所讨论,大型语言模型从培训数据集中反映了当代和历史对不同群体(如性别群体)的论述,我们期望钦奇利亚也如此.
<a id="S0238"></a> 在此,我们用Winogender数据集(Rudinger等,2018年),在零镜头设定下,测试是否在对校对结果的不公平结果中表现出潜在的性别和职业偏见。
<a id="S0239"></a> Winogender测试一个模型是否能够正确确定一个代词是否指不同的职业词.
<a id="S0240"></a> 一个没有偏见的模型可以正确预测代词指的是哪个词,而不论代词性别.
<a id="S0241"></a> 我们遵循与Rae等人案(2021年)相同的安排(H.3节进一步说明)。
<a id="S0242"></a> 如表10所显示,钦奇拉在所有群体中正确解决代词比Gopher更频繁.
<a id="S0243"></a> 有趣的是,男性代名词的性能增长(增加3.2%)大大低于女性或中性代名词(分别增加8.3%,9.2%)。
<a id="S0244"></a> 我们还考虑一些例子,其中正确的代名词决议与性别陈规定型观念相矛盾(由劳工统计决定)。
<a id="S0245"></a> 我们再次看到 Chinchilla 解决代词比Gopher更准确。
<a id="S0246"></a> 在按性别和性别分列实例时,最大的改进是女性实例(改进了10%)。
<a id="S0247"></a> 因此,虽然钦奇拉统一克服了性别定型观念,比戈弗更能参照实例,但某些代名词的改进率比其他代名词要高,这表明使用更计算-最佳模式带来的改进可能是不均衡的。
<a id="S0248"></a> 语言模型能够产生有毒语言——包括侮辱、仇恨言论、亵渎和威胁(Gehman等,2020年;Rae等,2021年)。
<a id="S0249"></a> 虽然毒性是一个总括术语,但其在LMs中的评价面临挑战(Welbl等人,2021年;Xu等人,2021年),自动分级器的分数可以为LM生成的有害文本的水平提供指示.
<a id="S0250"></a> Rae等人(2021年)认为,通过增加模型参数数量来改进语言建模损失,对有毒文本生成的影响可忽略不计(未及时);我们在此分析14
Page 15
<a id="S0251"></a> Chinchilla Gopher Chinchilla Gopher全部78.3% 71.4% 男性获得查 62.5% 59.2% 男性获得查 80.0% 76.7% 女性获得查 79.6% 71.3% 女性获得查 76.7% 中立 84.2% 75.0% 女性获得查 82.5% 75.8% 表10 o 维诺性别结果。
<a id="S0252"></a> 左:Chinchilla一致解决代词比Gopher更好.
<a id="S0253"></a> 右:钦奇拉在与性别陈规定型观念相矛盾的例子(gotcha实例)上表现得更好.
<a id="S0254"></a> 然而,各群体的业绩差异表明钦奇拉表现出了偏见。 通过更优化的计算培训实现的较低LM损失是否同样如此。
<a id="S0255"></a> 与Rae等人(2021年)的协议类似,我们从Chinchilla生成出25,000个未发作的样本,并将其PerspectAPI毒性分数分布与Gopher生成的样本进行比较.
<a id="S0256"></a> 一些汇总统计表明没有重大差异:戈菲的平均(中间)毒性分数为0.081分(0.064分),而钦奇拉的毒性分数为0.087分(0.066分),戈菲的毒性分数为0.230分,而钦奇拉的毒性分数为0.238分.
<a id="S0257"></a> 也就是说,绝大多数生成的样品被归类为无毒,模型之间的差别可以忽略不计.
<a id="S0258"></a> 根据先前的调查结果(Rae等人,2021年),这表明无条件文本生成中的毒性水平在很大程度上独立于模型质量(以语言建模损失衡量),即更好的培训数据集模型不一定毒性更强. 5 (韩语).
<a id="S0259"></a> 讨论和结论 迄今为止,大型语言模型培训的趋势是扩大模型规模,往往不增加培训标志的数量。
<a id="S0260"></a> 最大的密集变压器MT-NLG 530B,现在比仅仅两年前GPT-3的1700亿参数大了3×.
<a id="S0261"></a> 然而,这一模式以及大多数现有大型模式都接受了相当数量(约3 000亿美元)的培训。
<a id="S0262"></a> 虽然训练这些特大模型的愿望导致了大量的工程创新,但我们假设训练更大和更大的模型的竞赛导致模型的性能大大低于通过同样的计算预算可以实现的模型。
<a id="S0263"></a> 根据400多次培训的结果,我们提出三种预测办法,以优化模式规模和培训期限。
<a id="S0264"></a> 所有三种方法都预测,Gopher的体积大大过大,并估计,就同一计算预算而言,在更多数据方面受过训练的较小的模型将表现更好。
<a id="S0265"></a> 我们通过训练一个70B参数模型的Chinchilla来直接测试这个假说, 并表明它比Gopher甚至更大的模型在几乎每个测量的评价任务上都表现得更好。
<a id="S0266"></a> 虽然我们的方法允许我们预测在额外计算时如何放大大型模型,但有一些局限性。
<a id="S0267"></a> 由于训练大型型号的费用,我们只有两次规模相近的训练(Chinchilla和Gopher),我们没有在中间规模进行额外的试验.
<a id="S0268"></a> 此外,我们假定,计算预算、模型规模和培训符号数量之间的权力法关系可以说明有效的计算前沿。
<a id="S0269"></a> 然而,我们看到,在高计算预算的选择(见附录E)中,对数(cid:0)N(cid:1)有些精确。
<a id="S0270"></a> 这表明,我们仍然在高估大型模型的最佳尺寸。
<a id="S0271"></a> 最后,我们分析的培训活动都接受了不到一个时代的数据培训;今后的工作可能考虑到一个时代的多重制度。
<a id="S0272"></a> 尽管存在这些局限性,将Chinchilla与Gopher作一比较,验证了我们的性能预测,从而使培训更加完善(而培训次数为15人以上)。
Page 16
<a id="S0273"></a> 轻量级)模型在同一计算预算.
<a id="S0274"></a> 虽然最近开展了大量工作,使更大和更大的模型得到培训,但我们的分析表明,需要更加重视数据集的缩放。
<a id="S0275"></a> 简而言之,我们期望,只有数据质量高,才能将数据放大到更大和更大的数据集。
<a id="S0276"></a> 这就要求负责任地收集更大的数据集,并高度注重数据集的质量。
<a id="S0277"></a> 更大的数据集需要额外注意,以确保在语言建模损失以及在下游任务中适当考虑到列车测试集的重叠。
<a id="S0278"></a> 最后,对数以万计的象征物的培训提出了许多伦理和隐私问题。
<a id="S0279"></a> 从网上取出的大量数据集将包含有毒语言、偏见和私人信息。
<a id="S0280"></a> 随着使用更大的数据集,这类信息的数量(如果不是频率的话)会增加,这使得数据集的回顾更加重要.
<a id="S0281"></a> Chinchilla确实有偏见和毒性,但有趣的是,它的影响似乎低于Gopher。
<a id="S0282"></a> 更好地理解大语言模型和毒性的性能如何相互作用是未来重要的研究问题.
<a id="S0283"></a> 虽然我们在培训自动递归语言模型方面采用了我们的方法,但我们期望模型大小与其他模式中的数据数量之间有类似的取舍。
<a id="S0284"></a> 由于培训大型模式的费用非常高,必须事先选择最佳模式的规模和培训步骤。
<a id="S0285"></a> 我们提出的方法很容易在新的环境中被复制。 6. 国家
<a id="S0286"></a> 鸣谢 我们想感谢让-巴蒂斯特·阿莱拉克、卡雷姆·阿尤布、克里斯·戴尔、南多·德·弗雷塔斯、德米斯·哈萨比斯、杰弗里·伊尔文、克赖·卡武克库格卢、内特·库什曼和安杰利基·拉扎里杜对手稿的有益评论。
<a id="S0287"></a> 我们要感谢安迪·布洛克、伊琳娜·希金斯、米凯拉·帕格尼尼、弗朗西斯·宋等在DeepMind的同事,
<a id="S0288"></a> 我们也非常感谢JAX和XLA团队的支持和援助.
<a id="S0289"></a> 高效的大尺度语言建模与专家相混合. arXiv:2112.10684, 2021. E. M.
<a id="S0290"></a> 论斯多克鹦鹉的危害:语言模型能否太大?.
<a id="S0291"></a> 2021年ACM公平性、问责制和透明度会议记录,第610-623页,2021年。
<a id="S0292"></a> 超越模仿游戏:测量和推断语言模型的能力.
<a id="S0293"></a> URL https://github.com/google/BIG-bench/. 互联网档案馆的存檔,存档日期2013-12-02. 没错
<a id="S0294"></a> PIQA:自然语言中物理常识的原因.
<a id="S0295"></a> AAAI人工智能会议记录 第34卷 第7432-7439页,2020年. 师曰.
<a id="S0296"></a> 通过取回万亿代币来改进语言模型. arXiv 2112.04426, 2021 (英语). 16
Page 17
<a id="S0297"></a> JAX:Python+NumPy程序的可复合变换. 2018 (英语).
<a id="S0298"></a> Lin,编辑,神经信息处理系统的进步, 第33卷 第1877–1901页.
<a id="S0299"></a> URL https://proceedings.neurips.cc/paper/2020/file/1457c0d6bcbbb49674 18bfb8ac142f64a-Paper.pdf. 师曰.
<a id="S0300"></a> Convex优化:算法与复杂.
<a id="S0301"></a> 机器学习的基础与趋势, 8 (3-4):231–357, 2015.
<a id="S0302"></a> URL http://www.nowpublishers.com/article/Detail s/MAL-050. A. 互联网档案馆的存檔,存档日期2011-12-20.
<a id="S0303"></a> 2022年路由语言模型统一缩放定律.
<a id="S0304"></a> URL: https://arxiv.org/abs/2202.01169. C. URL.
<a id="S0305"></a> Boulq:探索自然是/不是问题的出人意料的困难.
<a id="S0306"></a> 计算语言学协会北美分会2019年会议记录:人文技术 第1卷 (长篇和短篇论文) 第2924–2936, 2019页. 编号
<a id="S0307"></a> Glam: 2021年与多位专家混合语言模型的高效缩放.
<a id="S0308"></a> URL: https://arxiv.org/abs/21120.6905. W.
<a id="S0309"></a> 切换变压器:以简单而高效的相接力放大至万亿参数模型. arXiv预印 arXiv:2101.03961,2021. 维基月球在线解说-李克文陨石坑 Andersson, L.
<a id="S0310"></a> Pile:用于语言建模的由多种文字组成的800GB数据集. arXiv预印 arXiv:2101.00027,2020年. 师曰.
<a id="S0311"></a> RealToxicityPrompts:在语言模型中评价神经毒性分解.
<a id="S0312"></a> 《计算语言学协会的调查结果:EMNLP 2020》,第3356-3369页,Online,2020年11月。
<a id="S0313"></a> 计算语言学协会. doi:10.18653/v1/2020. finders-emnlp.301.
<a id="S0314"></a> URL https://aclanthology.org/2 020.finances-emnlp.301. K.
<a id="S0315"></a> REALM:检索-增强语言模型预训,2020. D类.
<a id="S0316"></a> 测量大量多任务语言理解. arXiv预印 arXiv:2009.03300, 2020. T.
<a id="S0317"></a> URL http://github.com/deepmind/dm-haiku. 17 (英语).
Page 18
<a id="S0318"></a> 精确估计一个位置参数。
<a id="S0319"></a> 《数学统计年鉴》,35(1):73-101,1964年3月。
<a id="S0320"></a> ISSN 0003-4851, 2168-8990. doi:10.1214/aoms/11777732.
<a id="S0321"></a> URL https://projecteuclid.org/journals/annals-of-mathematical-statistics/vol ume-35//issues-1. Robst-Estimation-of-a-Location-Parameter/10.1214/aoms/11 77703732. full. G.
<a id="S0322"></a> (原始内容存档于2018-10-21). Dispilling knows from readers to retrievers for question answer, 2020. M.
<a id="S0323"></a> TriviaQA:一个大型的Distant监督挑战数据集,用于阅读Comference. arXiv e-prints, Art. arXiv:1705.03551, 2017. N. P.
<a id="S0324"></a> 一个收发器处理单元的内数据中心性能分析。
<a id="S0325"></a> 计算机架构第44届国际年度专题讨论会记录,ISCA ' 17,第1-12页,美国纽约州纽约,2017年。
<a id="S0326"></a> ISBN 97814530348928. doi:10.1145/3079856.3080246 (中文(简体) ).
<a id="S0327"></a> URL https://doi.org/10.1145/3079856.3080246. J.
<a id="S0328"></a> 扩展神经语言模型的定律. arXiv预印版arXiv:2001.08361,2020. D. P.
<a id="S0329"></a> 亚当:一种花样优化的方法. arXiv preprint arXiv:1412.6980, 2014 (英语). T.
<a id="S0330"></a> PriedPiece:用于神经文本处理的简单而语言独立的子词代号器和解接器. arXiv preprint arXiv:1808.06226, 2018 (英语). T.
<a id="S0331"></a> 自然问题:回答问题研究的基准.
<a id="S0332"></a> 2019年计算语言学协会交易. G.
<a id="S0333"></a> RACE:通过考试获得的大规模重排理解数据集.
<a id="S0334"></a> 《2017年自然语言处理经验方法会议记录》,第785-794页,丹麦哥本哈根,2017年9月。
<a id="S0335"></a> 计算语言学协会. doi:10.18653/v1/D17-1082.
<a id="S0336"></a> URL https://aclanthology.org/D17-1082. Y. 互联网档案馆的存檔,存档日期2013-12-02.
<a id="S0337"></a> 深至相接自心相通. arXiv预印版 arXiv:2006.12467, 2020. P.
<a id="S0338"></a> 用于知识密集型nlp任务的检索强化生成.
<a id="S0339"></a> 《神经信息处理系统的进展》,第33卷,第9459-9474页,2020年。
Page 19
<a id="S0340"></a> 侏罗纪-1:技术细节与评价.
<a id="S0341"></a> 真实QA:测量模型如何模仿人类的虚伪. arXiv预印 arXiv:2109.07958,2021. 说吧
<a id="S0342"></a> 2019年国际学习代表大会.
<a id="S0343"></a> URL https://openreview.net/forum?id=Bkg6RiCqY7. S.
<a id="S0344"></a> 2018年大型批斗训练经验模型. 师曰.
<a id="S0345"></a> 学习代表性国际会议,2017. M.
<a id="S0346"></a> 关于公平、问责制和透明度的会议记录,第220-229页,2019年。 J.
<a id="S0347"></a> 更新有有限存储的Quasi-Newton Matries。
<a id="S0348"></a> 计算数学, 35 (151): 773–782, 1980.
<a id="S0349"></a> URL https://www.jstor.org/stable/2006193. D. 互联网档案馆的存檔,存档日期2011-12-21.
<a id="S0350"></a> LAMBADA数据集:需要广泛讨论背景的文字预测, 2016. J.
<a id="S0351"></a> 扩展语言模型:从培训Gopher. arXiv 2112.11446, 2021. J. W.
<a id="S0352"></a> 用于远程序列建模的压缩变压器.
<a id="S0353"></a> 神经信息处理系统的进步, 33:6154-6158, 2020. C C.
<a id="S0354"></a> 探索采用统一的文本对文本转换器进行传输学习的极限.
<a id="S0355"></a> 机器学习研究杂志, 21(140): 1–67, 2020a.
<a id="S0356"></a> URL http://jmlr.org/papers/v21/20-074.html (中文(简体) ). C C.
<a id="S0357"></a> 探索采用统一的文本对文本转换器进行传输学习的极限.
<a id="S0358"></a> 机器学习研究杂志, 21(140): 1–67, 2020b. S.
<a id="S0359"></a> 0:内存优化向培训一万亿参数模型.
<a id="S0360"></a> SC20: 高性能计算、联网、储存和分析国际会议,第1至16页。
Page 20
<a id="S0361"></a> 门罗. 一种相形相形法.
<a id="S0362"></a> 数学统计年鉴, 22(3):400–407, September. 1951. R.
<a id="S0363"></a> 计算语言学协会北美分会2018年会议纪要:人文语言技术,2018年6月于路易斯安那州新奥尔良.
<a id="S0364"></a> 计算语言学协会. 凯.
<a id="S0365"></a> Winogrande:一个规模的对抗性Winograd计划挑战.
<a id="S0366"></a> AAAI人工智能会议记录, 第34卷, 第8732-8740页, 2020. M.
<a id="S0367"></a> SocialIQA:关于社会互动的常识推理.
<a id="S0368"></a> 2019年自然语言处理经验方法会议纪要. C. J.
<a id="S0369"></a> 测量数据平行主义对神经网络培训的影响. arXiv预印版arXiv:1811.0360,2018. J. W.
<a id="S0370"></a> 具有一般活化功能的神经网络的近似速率.
<a id="S0371"></a> 神经网络, 128:313–321, 2020年8月.
<a id="S0372"></a> URL https://www.sciencedirect.com/scienc e/article/pii/S0893608020301891. S.
<a id="S0373"></a> 使用"深速"和"威震天"来训练"威震天"NLG 530b","一款大型基因语言模型". arXiv preprint arXiv:2201.11990, 2022. J.
<a id="S0374"></a> 2021年AI预测的最新消息和经验教训.
<a id="S0375"></a> URL https://bounded-regret.g 主机.io/ai-forecasting/. 互联网档案馆的存檔,存档日期2013-12-21. 没错
<a id="S0376"></a> 缩放高效:从预训和微调变压器的透视,2021. R. (英语).
<a id="S0377"></a> LaMDA:对话框应用的语言模型,2022. A类.
<a id="S0378"></a> (原始内容存档于2017-10-12). In Prevants in 神经信息处理系统, page 5998–6008, 2017. 维基月球在线解说-李克文陨石坑 Andersson, L.
<a id="S0379"></a> 语言模型造成的危害的伦理和社会风险。 arXiv提交,2021年。 20
Page 21
<a id="S0380"></a> 解毒语言模型的挑战.
<a id="S0381"></a> 在计算语言学协会的调查结果:EMNLP 2021,第2447–2469页,多米尼加共和国蓬塔卡纳,2021年11月。
<a id="S0382"></a> 计算语言学协会.
<a id="S0383"></a> URL https://aclanthology.org/2021. 调查结果-emnlp.210. A.
<a id="S0384"></a> 解毒语言模型有可能将少数群体的声音边缘化。
<a id="S0385"></a> 计算语言学协会北美分会2021年会议纪要:人文语言技术, 第2390–2397页, Online, 2021年6月.
<a id="S0386"></a> 计算语言学协会. doi:10.18653/v1/2021.naacl-main.190.
<a id="S0387"></a> URL : https://aclanthology.org/2021.naacl-main.190. G.
<a id="S0388"></a> 通过零发超参数传输来培养大型神经网络.
<a id="S0389"></a> Vaughan,编辑,神经信息处理系统的进步,2021年.
<a id="S0390"></a> URL https://openreview.net/forum?id=Bx6qKuBM2AD. R.
<a id="S0391"></a> HelaSwag:机器真的能完成你的句子吗?
<a id="S0392"></a> 2019年计算语言学协会第五十七届年会纪要. G.
<a id="S0393"></a> 哪种算法选择对哪个批量大小很重要? 一个吵闹的四面体模型的洞察力
<a id="S0394"></a> Garnett,编辑,神经信息处理系统的进步 第32卷.
<a id="S0395"></a> URL https://procedings.neurips.cc/paper/2019/files/e0eacd98397164327ae1819ea8b621 4-Paper.pdf. B类.
<a id="S0396"></a> 设计有效的稀有专家模型,2022年
Page 22
<a id="S0397"></a> 在表A1中,我们显示用于Chinchilla和所有缩放的训练数据集化妆。
<a id="S0398"></a> 注意,MassiveWeb和维基百科的子集都用于一个以上的时代.
<a id="S0399"></a> 磁盘大小文档采样比例 1.4T令牌中的 Epochs 比例 1.9 TB 604M 45% (48%) 1.24 书籍 2.1 TB 4M 30% (27%) 0.75 C4 0.75 TB 361M 10% (10%) 0.77 新闻 2.7 TB 1.1B 10% (10%) 0.21 GitHub 3.1 TB 142M 4% (3%) 0.13 维基百科 0.001 TB 6M 1% (2%) 3.40 表 A1 → MassiveText 数据化妆.
<a id="S0400"></a> 对于MassiveText的每个子集,我们列出其总磁盘大小、文件数量和在培训期间使用的抽样比例——我们使用的分布与Rae等人(2021年)略有不同。
<a id="S0401"></a> 在最右边一栏中显示1.4万亿令牌中使用的时代数. B类.
<a id="S0402"></a> 最佳余弦周期长度 一个关键假设是余弦周期长度和相应的学习率下降(我们按照Rae等人(2021年)使用10×学习率衰减)。 我们发现,如图A1所示,设定余弦周期长度比培训步骤的目标数量长得多,导致培训模式不够完善。
<a id="S0403"></a> 因此,考虑到FLOP预算,我们假设一个经过最优化训练的模型将使余弦周期长度正确校正到最大步数;我们在主要分析中遵循了这个规则. C C.
<a id="S0404"></a> 各数据集成果的分级一致性 我们在两个不同的数据集(C4(Raffel等人,2020年b)和GitHub代码(我们用Rae等人的数据显示结果(2021年)))的培训后,展示了IsoFLOP(APPROCH 2)分析的缩放结果,结果见表A2.
<a id="S0405"></a> 对于使用MassiveText子集的两组实验,我们使用与MassiveText实验相同的活化剂.
<a id="S0406"></a> 我们发现这些数据集的缩放行为与我们在MassiveText上发现的行为非常相近,如图A2和表A2所显示.
<a id="S0407"></a> 这表明我们的结果与数据集是独立的,只要不训练一个以上的时代。 9,我们发现由10×到衰变到0.0(相上相下相上相上相下相上相下相下相下相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相去相相去相去相去相相去相去相相相去相去相去相相相相相相相相去相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相相
<a id="S0408"></a> 由更少(5×)衰减明显更糟糕. 22个
Page 23
<a id="S0409"></a> 1.0 0.8 0.4 0.2 0.0 0 2 6 6 6 6 6 6 6 6 6 4 4 6 6 6 6 6 6 6 6 6 6 6 6 6 6 4 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 5 6 6 6 0 0 0 6 0 6 0 2 5 0 5 0 5 0 5 0 5 0 5 0 7 5 0 5 7 7 5 7 7 7 7 7 7 7 0 5 0 0 0 7 0 7 0 7 0 7 0 7 0 7 0 7 0 7 0 7 0 12 0 5 0 5 5 000 5 000 6 6 5 6 6 6 6
<a id="S0410"></a> 我们显示6个曲线,其余弦周期长度设定为1、1.1、1.25、1.5、2和5×长于培训步骤的目标数量。
<a id="S0411"></a> 当余弦循环长度过长,而学习率不适当下降时,则性能受损.
<a id="S0412"></a> 我们发现,高估超过25%的训练步骤的数量导致业绩明显下降。
<a id="S0413"></a> 我们在将培训步骤的数量设定为两个不同的价值(上下)时,显示了成果。 3.2 2.8 2.4 2.2 2.0 100M 300M 1B 3B 6B 30B 参数ssoL 0.5 0.3 0.2 100M 300M 1B 3B 3B 6B 参数sso gniar TbuHtiG 1e19 1e21 1017 1019 1021 FLOPs 1021 1021 FLOPs 10T 73B 100B 10B 10B 1B 100B 1021 FLOPs snekoT 1.3T 0.9 0.6 0.5 0.3 0.2 100M 300M 1B 3B 6B 30B 参数sso gniniar TbuHtiG 1e19 1T 1e20 6e20 100B 1e21 10B 1019 1021 1023 10LOPs sretemarP 10T 59B 1019 B 100B 1017 1019 1021 1023 1025 FLOPS SnekoT 1.6T 图 A2 Q Q Q Q
<a id="S0414"></a> 我们利用C4数据集(Raffel等人,2020年b)和一个GitHub数据集(Rae等人,2021年)生成了4个IsoFLOP剖面图并显示参数和符号计数缩放,如图3.
<a id="S0415"></a> 放大系数见表A2. 23。
Page 24
<a id="S0416"></a> 靠近Coef. a, N → Ca Coef. b, D → Cb 选择选择 C4 0.50 0.50 GitHub 0.53 0.47 Kaplan等人(2020年) 0.73 0.27 表A2 估计参数和数据缩放,增加两个替代数据集的培训计算。
<a id="S0417"></a> 列出的值是关系N option QQ Ca和D QQ Cb上的代词 a和b.
<a id="S0418"></a> 使用 IsoFLOP 剖面图,我们估计两个不同数据集的缩放. 选择D。
<a id="S0419"></a> 办法1:确定模式规模和不同的培训序列 我们对最小的模型采用2×10−4的最高学习率,对最大的模型采用1.25×10−4的最高学习率.
<a id="S0420"></a> 在所有情况下,学习率在培训期间都下降了10××倍,采用同位素时间表。
<a id="S0421"></a> 我们假设,余弦周期长度应与训练步骤的数目大致相匹配。
<a id="S0422"></a> 我们发现,当余弦循环将训练步骤的数量超过25%时,性能明显下降——见图A1.10。 我们使用高斯平滑,窗口长度为10步来平滑训练曲线. D.2节。
<a id="S0423"></a> 办法3:损失的参数配置 在本节中,我们首先展示了"方程式(2)"是如何被衍生出来的.
<a id="S0424"></a> 我们重复以下等式以明确,A B L Q (N, D) (cid:44) E + +, (5) Nα Dβ 基于函数近似词和优化次优化词之间的预期风险分解.
<a id="S0425"></a> 然后,我们详细介绍优化参数的程序。
<a id="S0426"></a> 在形式上,我们考虑的任务是根据前作的相序 x ∈ Ys 来预测下个相序 y ∈ Y,其相序从 0 到 s 最大——最大相序长度不等.
<a id="S0427"></a> 我们考虑在Y分发P-D(X-Y)和在X分发其过去。 一个预测符 f: X → D (Y) 计算每个符的概率,以过去序列为准.
<a id="S0428"></a> Bayes分类器 f 将 f (x) 与所观测到的符号 y 的交叉切入最小化,并对整个数据分布进行预期.
<a id="S0429"></a> 我们让L成为预期的风险L(f)(cid:44) E[log f (x)y],并设置 f ★ (cid:44) argmin L (f.) (6) f QQF (X,D (Y)) 大小为N(我们表示H.)的所有变压器的集合,构成所有函数的一个子集,将N序列映射到符号X ~ D (Y)的分布.
<a id="S0430"></a> 将一个尺寸为N的变压器安装在预期风险L(f)上,等于在有限的功能空间f(cid:44)argmin L(f.)上尽量减少这种风险。 (7) Nf QQHN 当我们观察到一个大小为D的数据集(xi, yi)ii∈ [1, D], 我们无法访问EP, 而是在经验分布Pˆ D上达到Eˆ D.
<a id="S0431"></a> 我们得到D 10后会发生什么 这进一步强调了不仅要确定模型大小,还要在训练开始前进行训练。 24个
Page 25
<a id="S0432"></a> 数据点,我们只能看到一次, 当我们限制假设空间的大小 成为N维时?
<a id="S0433"></a> 我们正在采取步骤,在有限维函数空间H:N Lˆ D (f): (cid:44) E D [log f (x) y],设置 fˆ N, D (cid:44) argmin Lˆ D (f.). (8) f HN. 我们永远无法获得 f ,因为我们通常在大小 D. N, D 的数据集上执行一个单一的时代, 相反,获得 f' ,这是根据 N, D 数据点应用一定数量的梯度步骤的结果——要完成的步骤数取决于梯度批量大小,对此我们使用经过充分检验的休眠法.
<a id="S0434"></a> 使用Bayes分类符 f-(cid:0)-(f)-(cid:1)+(cid:0)-(f)-(cid:1)-(cid:0)-(cid:1)-(cid:0)-(cid:0)-(cid:0)-(cid:0)-(cid:1)-(cid:1)-(cid:1)-(cid:1)-(cid:1)-(cid:1)-(cid:1)-(cid:1)-(cid:1)-(cid:9)-(Bayes N,D:1)-(cid:1)-(cid:9)-(cid:D)-(c)-(cid:1)-(c)-(c)-(c)-)-(d.)-(c)-(c)-(c)-(c)-(cost-)-(c)-)-(c)-(c)-(
<a id="S0435"></a> 在分解(9)中,第二个术语完全取决于定义函数近似空间大小的参数N的数量.
<a id="S0436"></a> 在一套双层神经网络上,预计与1成正比(Siegel and Xu, 2020).
<a id="S0437"></a> 最后,N1/2,因为它对应了先行先行法的早期停止,第三个术语应该作为这些方法的收缩率来缩放,其下限为1(Robbins and Monro, D1/2 1951) (并且可能达到约束).
<a id="S0438"></a> 预计这一趋同率将是无维度的(例如,见E.
<a id="S0439"></a> Bubeck, 2015, for a Review),并且只取决于损失的平滑度;因此,我们假设第二个任期只取决于D in (2).
<a id="S0440"></a> 经验中,我们发现在安装了(2)后,A B L(N,D) = E + +,(10) N0.34 D0.28 与 E = 1.69, A = 406.4, B = 410.7.
<a id="S0441"></a> 我们注意到,参数/数据系数均低于1;这是数据效率系数(但远远低于已知的下限系数)的预期值。 2 未来的模式和培训办法应努力增加这些系数。
<a id="S0442"></a> 我们有效地将以下问题最小化:min QQ Huber(cid:16) LSE(cid:0)a − α对数 N,b − β对数 D,e(cid:1) − log L(cid:17),(11) i i i i a,b,e,α,β Run i, LSE是log-sum-exp操作员.
<a id="S0443"></a> 然后设定 A, B, E = exp(a),exp(b),exp(e).
<a id="S0444"></a> 我们使用 LBFGS 算法来查找上面的目标的局部微分,开始于一个初始化的网格上,给出的网格是: α {0., 0.5, 2.}, β {. {, 0.5, 2.}, e ∈ 1, − 5., 1.}, a {0, 5, 25}和 b {0, 5, 25}.
<a id="S0445"></a> 我们发现,最理想的初始化不是在我们初始化扫描的边界上。
<a id="S0446"></a> 我们发现,使用更大的数值 将模型推向 过度匹配 小型计算系统 和低预测 持有的数据 从更大的运行。
<a id="S0447"></a> 我们发现,使用小于10-3的缩写不会影响由此产生的预测。 第 25 条
Page 26
<a id="S0448"></a> 关于方法2和3,我们在表A3中列出了各种计算预算的模型大小和培训符号估计数。
<a id="S0449"></a> 我们为图A3中的三种方法绘制了各种FLOP预算的预测符号和参数。
<a id="S0450"></a> 办法2 方法3 参数 FLOPs Tokens FLOPs Tokens 1.84e+19 7.7亿 2.21e+19 9.2亿 1亿 1.20e+20 20.0亿 1.62e+20 27.1亿 10.10亿 1.32e+22/219.5亿 2.46e+22 4.10.1亿 6.88e+23 1.7亿 1.71e+24 4.1 三亿 175亿 4.54e+24 4.3亿 1.28亿 1.26e+24 12.0 280亿 1.18e+25 7.1 三亿 3.52e+25 20.1 三亿 5.20亿 4.19e+25 13.4亿 1.36e+26 43.5 三亿 1.59e+26.5 千兆 5.65e+26.5 千兆 5.65e+26 4.4.1 三亿 1.75e+28 292.0 三亿 8.55e+28 14.25.5 Trillion 表A3 估计各种型号的优化培训FLOP和训练标志。
<a id="S0451"></a> 与表3相仿的是,我们从方法2和3对各种计算预算的模型大小/计算数预测。 。 。 。 。 1012 1011 1010 109 108 1010 1011 1012 1013 Tokens sretemaraP方法 1e+26方法 2方法 1e+25 Chinchilla Gopher GPT-3 1e+24 威震天-图灵 NLG 1e+23 1e+22 1e+21 1e+20 1e+19 1e+18 图 A3 培训FLOP预算的标语和参数优化数。
<a id="S0452"></a> 就固定的FLOP预算而言,我们显示了方法1、2和3预测的最佳信使和参数数量。
<a id="S0453"></a> 候补代表,见图1.D.4.。
<a id="S0454"></a> 与Kaplan等人(2020年)的小规模比较,对于1021 FLOPs,我们对方法1预测的模型和Kaplan等人(2020年)预测的模型进行了头对头比较。
<a id="S0455"></a> 对两种型号,我们使用0.5M的批量尺寸和26个
Page 27
<a id="S0456"></a> 最大学习率为1.5×10−4,衰减为10×.
<a id="S0457"></a> 从Kaplan等人(2020年)来看,我们发现最佳模型尺寸应为46.8亿个参数。
<a id="S0458"></a> 根据我们的方法1,我们估计28.6亿个参数模型应该是最佳的。
<a id="S0459"></a> 我们训练了47.4亿个参数和一个28.0亿个参数变压器来测试这个假说,使用相同的深度比来避免尽可能多的混淆因素.
<a id="S0460"></a> 我们发现,如图A4. 2.8 2.7 2.5 2.3 2 0 2 序列 1e7 ssoL gniniarT 2.8 2.6 2.2 2.3 2.2 0.0 0.2 0.4 0.6 0.8 1.0 FLOPs ×1021 ssoL gniniarT Kaplan等 (2020) 方法 1 图A4 与 Kaplan等 (2020) 1021 FLOPs 比较。
<a id="S0461"></a> 我们通过方法1和Kaplan等人(2020年)对2.80和47.4亿参数变压器进行了预测,认为1021 FLOP是最佳的。
<a id="S0462"></a> 我们发现,在培训结束时,我们的预测结果是一个更能表现的模型。 页:1
<a id="S0463"></a> FLOP-损失边界的曲线 我们观察到,随着模型的增加,FLOP-最小损失前沿有一个曲率.
<a id="S0464"></a> 这意味着来自非常小模型的预测会导致与来自较大模型的预测不同.
<a id="S0465"></a> 在图A5中,我们用第一、中和最后三分之一的前沿点来显示线性匹配。
<a id="S0466"></a> 在这项工作中,我们不考虑这一点,我们把这项工作留作今后令人感兴趣的工作,因为它表明,即使是较小的模型也可能是大型FLOP预算的最佳选择。 费.
<a id="S0467"></a> FLOP 计算 我们的分析中包括所有培训活动,包括嵌入式矩阵所促进的培训活动。
<a id="S0468"></a> 请注意,我们还在总参数数中计算出嵌入矩阵。
<a id="S0469"></a> 对于大型模型,嵌入矩阵的FLOP和参数贡献很小.
<a id="S0470"></a> 我们用系数2来描述乘积成本。
<a id="S0471"></a> 关于前方通行证,我们考虑来自: 嵌入 – 2 × 下 len × vocab size × d model – 注意 (单层) 键,查询和数值预测: 2 × 3 × 后 len × d model → (键 大小 × num heads) 27
Page 28
<a id="S0472"></a> 6.0 5.5 4.5 4.5 4.0 3.5 3.0 2.5 2.0 1017 1018 1019 1020 1021 1022 FLOPS sol gniniarT 10000 5000 2500 1000 250 75 sretemaraP noillim 图A5 QQ训练曲线信封.
<a id="S0473"></a> 我们与损失边界沿线所有点中的第三分之一(橙色)、中第三(绿色)和后三分之一(蓝色)相吻合。
<a id="S0474"></a> 我们只绘制一个子集点。 —@ 查询日志: 2– 下 下- 下- 下- 下- 下- 上- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 上- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- 下- - 下- 下- 下- 下- 下- 下- 下- 与Kaplan等人(2020年)一样,我们假设后行通行证是前行通行证的两倍。
<a id="S0475"></a> 我们的计算与使用C=6DN(Kaplan等,2020年)的通用近似值比较,C是FLOPs,D是训练符数,N是表A4中的参数数.
<a id="S0476"></a> 我们认为FLOP的计算差异很小,不会影响我们的分析。
<a id="S0477"></a> 相较于Rae等人(2021年)给出的结果,我们采用了略多的参数num layers d model ffw size numm heads k/q size FLOP比 (Ours/6N D) 73M 10 640 2560 10 64 1.03 305M 20 1024 4096 16 64 1.10 552M 24 1280 5120 10 1.08 1.1B 26 1792 7168 14 128 1.04 1.6B 28 2048 8192 16 128 1.03 6.8B 40 3584 14336 28 128 0.99 表 A4 | FLOP比较.
<a id="S0478"></a> 对于各种不同的模型大小,我们显示我们用6N D相近来计算每个序列的FLOP的比例. 精确计算给出的数值略有不同(6.3×1023,而5.76×1023). 第28条
Page 29
<a id="S0479"></a> 钦奇拉和高佛的其他差异 除了模型大小和训练符数量的差异之外,钦奇拉和高佛之间还存在一些额外的小差异.
<a id="S0480"></a> 具体而言,Gopher与Adam一起接受了培训(Kingma和Ba,2014年),而Chinchilla则与AdamW一起接受了培训(Loshchilov和Hutter,2019年)。
<a id="S0481"></a> 此外,正如在Rae等人(2021年)中吸取的教训所讨论,Chinchilla储存了被压抑的Otimiser状态下重量的更精确的副本。
<a id="S0482"></a> 在图A6和图A7中,我们显示与亚当和亚当W培训的模型的比较。
<a id="S0483"></a> 我们发现,独立于学习速度表之外,亚当W训练的模型超过了亚当训练的模型.
<a id="S0484"></a> 在图A6中,我们显示一个6.8亿个参数模型的比较:训练2.70 2.65 2.60 2.55 2.50 2.245 0 5 10 15 20 25 3000万个序列 ssoL gniniarT 26 25 23 22 21 20 19 17 0 5 15 20 25 3000万个序列 ytixelprep 301txetikiW 3.00 2.95 2.90 2.85 2.80 2.75 2.70 2.65 2.60 0 5 10 15 20 20 25 3000万个序列 ssoL 4C 训练设置 Adam w/高精密度 Adam W/高精密度 Adam 无高精密度 Adam W 无高精密度图 A6 → 比较其他差异.
<a id="S0485"></a> 使用6.8亿个参数模型,我们显示用于训练Gopher和Chinchilla的设置的比较——Optimiser的变换,并使用Optimiser状态下更精确的重量复制.
<a id="S0486"></a> 用于Chinchilla(橙色)的设置明显超过了用于训练Gopher(绿色)的设置. 2.8 2.6 2.5 2.4 2.3 0 25 50 75 100 1.1500万序列 ssoL 4C 30.0 27.5 25.0 22.5 20.0 17.5 15.0 12.5 10.0 25 75 100 125万序列 ytixelpreP 301txetikiW 0.5 0.4 0.3 0.2 0.0 0 25 50 75 100 1.1500万序列 ycaruccA AD ABMA 417M, Adam 417M, Adam W 1.4B, Adam W 图 A7 Adam vs AdamW.
<a id="S0487"></a> 对于一个417M(蓝色)和1.4B(绿色)模式,我们发现,与亚当训练相比,亚当训练会提高性能. 和亚当/亚当W进行比较。 H.
<a id="S0488"></a> 在表A5中,我们显示Chinchilla、Gopher和Jurassic-1上的比特值(bpb)。
<a id="S0489"></a> Chinchilla在所有子集上都超越了Gopher.
<a id="S0490"></a> 侏罗纪-1在2个子集上超越了钦奇拉——dm 数学和ubuntu irc. 29
Page 30
<a id="S0491"></a> 下集 Chinchilla (70B) Gopher (280B) 侏罗纪-1 (170B) 堆积 cc 0.667 0.691 0.669 pubmed abstracts 0.559 0.578 0.587 堆积交换 0.614 0.641 0.655 gi 0.337 0.377 0.358 开网文本2 0.647 0.677 arxiv 0.627 0.662 0.680 uspto 后地 0.526 0.546 0.537 自由法 0.476 0.513 0.514 pubmed Central 0.504 0.525 0.579 dm 数学 1.111 1.142 1.037 黑客新闻 0.859 0.890 0.869 0.590 开口字幕 0.871 0.900 0.879 欧元帕尔 0.833 0.938 0.675 0.712 0.835 纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸纸
<a id="S0492"></a> 与Gopher和Jurassic-1相比,我们给Chinchilla的Pile上的bpb显示。
<a id="S0493"></a> 姆卢 在表A6中,我们显示Chinchilla和Gopher在MMLU的每个子集上的性能。
<a id="S0494"></a> Winogender 设置 我们遵循与雷等人(2021年)相同的设定.
<a id="S0495"></a> 为了测试Chinchilla语的校正分辨率,我们输入了一句话,其中包括一个代名词参考(例如,“图书管理员帮助孩子挑出一本书,因为{pronoun}喜欢鼓励阅读.”),然后衡量模型完成“{pronoun}提到具有不同句子角色(“图书馆家”)和“儿童”的句子的概率。
<a id="S0496"></a> 每个例子都附加了正确的代名词解析度(这个例子中的代名词对应图书管理员).
<a id="S0497"></a> 每个句子都使用女性,男性,以及不分性别的代词进行测试.
<a id="S0498"></a> 一个没有偏见的模型可以正确预测代词指的是哪个词,而不论代词性别. H.4. (中文(简体) ).
<a id="S0499"></a> 在表A7中,我们显示 Chinchilla和Gopher的性能 在我们考虑的BIG-bench的每个子集。 说吧
<a id="S0500"></a> 样卡 我们按照Mitchell等人提出的框架(2019年),在表A8中提出钦奇拉模式卡。 30个
Page 31
<a id="S0501"></a> Chinchilla Gopher Task Chinchilla Gopher抽象 alpher抽象 algebra 31.0 25.0 解剖学 70.4 56.3 天文学 73.0 商业 伦理学 72.0 70.0 临床 知识 75.1 67.2 学院 生物学 79.9 70.8 学院 化学 51.0 45.0 学院 计算机 科学 51.0 49.0 学院 数学 32.0 37.0 学院 医学 66.5 60.1 学院 物理 46.1 34.3 计算机 安全学 67.0 65.0 概念 物理 67.2 49.4 计量经济学 38.6 43.0 电气 工程 62.1 小学 数学 41.5 33.6 正规学 33.3 全球学 39.0 38.0 高中 生物学 80.3 高中 化学 58.1 47.8 高中 计算机 科学学 58.0 54.0 高中 神经学 72.8 高中 地理学 86.4 76.8 高中 gov-gov and 政治学 9.1.2 83.9 高中 宏观经济学 高校-心理学 高校学 31.7 高校-数学 31. y 86.6 81.8 高校 统计学 58.8 50.0 高校 历史 历史 历史 世界 历史 历史 历史 历史 人类83.3 78.9 高校 历史 历史77.6 人类 性学 86.3 67.2 国际-法律 90.9 77.7 判例 79.6 71.3 逻辑-谬误 80.4 机器 学习 41.1 管理 82.5 77.7 营销 89.7 83.3 医学 遗传学 69.0 杂项 84.5 75.7 道德 辩论 77.5 66.8 道德 假设 36.5 40.2 营养 77.1 69.9 哲学 79.4 职业-会计 52.1 44.3 专业 法律 56.5 专业-心理学 75.7 64.0 公共-关系 75.6 71.8 安全 研究 75.9 64.9 社会学 91.9 社会学 91.1 我们 外交政策 92.0 病毒学 53.6 47.0 世界 - 宗教学 87.7 84.2 表格 A6 o- Chinchilla MMMLU 成果。
<a id="S0502"></a> 对于MMLU的每个子集(Hendrycks等,2020年),我们显示钦奇拉与Gopher的准确性.
<a id="S0503"></a> 模型细节组织 开发模型 DeepMind 模型 日期:2022年3月 模型类型 自动回转变压器语言模型(细节第4.1节) 关于模型 {jordanhoffmann, sborgeaud, amensch, sifre}@deepmind.com 原始用途的反馈 主要用途是研究语言模型,包括:研究语言模型与Rae等人(2021年)所列语言模型的缩放行为。 31个
Page 32
<a id="S0504"></a> 初等意向用户深明研究者.
<a id="S0505"></a> 我们不会公开这一模式。
<a id="S0506"></a> 在有害或欺骗的环境中使用语言生成模式。
<a id="S0507"></a> 更一般地说,如果不进一步的安全性和公平性减缓,该模型不应用于下游应用.
<a id="S0508"></a> 因素卡提示 — 相关因素包括所使用的语言。
<a id="S0509"></a> 此外,在对在Rae等人(2021年)中接受过相同教程培训的模型进行分析时,我们发现,在建模一些方言(如非裔美国人英语)时,它的表现是不平等的.
<a id="S0510"></a> 如果不进一步分析拟议下游应用中的各种因素,该模型不应用于下游应用。
<a id="S0511"></a> 卡片提示 - 评价因素 见Rae等人(2021年)的研究结果,其中分析了对同一文本库进行培训的模型。
<a id="S0512"></a> 量子模型性能测量 语言建模数据集上每字节的复杂度和比特度 完成任务的精确度,读取理解度,MMLU,BIG-bench和事实检查. • 回答问题准确无误。 • 从实际毒性快感产生毒性,同时进行毒性分类的准确性。 • 性别和职业偏见。
<a id="S0513"></a> 测试包括比较生成不同性别名词的概率和Winogender的对齐解析任务.
<a id="S0514"></a> 我们主要关注Chinchilla的性能,
<a id="S0515"></a> 决定阈值N/A 处理不确定性和Vari -- -- 由于培训大型语言模型的费用,我们未能多次培训Chinchilla。
<a id="S0516"></a> 然而,我们对一系列不同任务类型的评价范围很广,可以合理地估计模型的总体性能。
<a id="S0517"></a> 此外,在同一个数据集(Gopher)上培训的另一个大型模型的存在提供了明确的比较点。
Page 33
<a id="S0518"></a> 数据集 • LAMBADA的语言建模,Wikitext103(Merity等,2017年),C4(Raffel等,2020年a),PG-19(Rae等,2020年)和Pile(Gao等,2020年). · 语言理解、现实世界知识、数学和逻辑推理,关于大规模多任务语言理解(MMLU)基准(Hendrycks等,2020年)和“超越模仿游戏基准”(BIG-bench)(BIG-bench合作,2021年)。 • 关于自然问题(Kwiatkowski等,2019年)和TriviaQA(Joshi等,2017年)的问答(非公开) • 阅读对RACE的理解(Lai等,2017年) • HellaSwag(Zellers等,2019年),PIQA(Bisk等,2020年),Winogrande(Sakaguchi等,2020年),SIQA(Sap等,2019年),BoulQ(Clark等,2019年),以及TrealQA(Lin等,2021年)。
<a id="S0519"></a> 动机 我们从Rae等人(2021年)中选择了评价,让我们能最直接地与Gopher进行比较.
<a id="S0520"></a> 预处理输入文本使用有32,000个词汇的PriestPiece符号化.
<a id="S0521"></a> 与用于Gopher的活化剂不同的是,用于Chinchilla的活化剂不执行NFKC正常化.
<a id="S0522"></a> 培训数据 与Rae等人(2021年)使用的数据集相同。
<a id="S0523"></a> 表A1显示抽样差异。
<a id="S0524"></a> 第4.2节详细介绍了我们的分析。
<a id="S0525"></a> 主要外购包括: • 我们的模型能够输出以PerspectAPI所测量的有毒语言.
<a id="S0526"></a> 当该模型被有毒的诱发时,情况尤其如此。 • 性别:我们的模型模仿了我们数据集中的陈规定型观念,诸如“二手手”和“接受者”等职业与妇女的关系更加密切,“木匠”和“牧人”与男子的关系更加密切。 • 种族/宗教/国家情绪:促使我们的模式讨论某些群体,导致情绪低或高的句子,可能在我国数据集中反映文字。 第33条
Page 34
<a id="S0527"></a> 跨部门结果 我们没有调查交叉偏见。
<a id="S0528"></a> 伦理考虑数据 数据与Rae等人(2021年)所描述的数据相同.
<a id="S0529"></a> 人类生命 该模式无意为决定对人类生活或繁荣至关重要的事项提供信息。
<a id="S0530"></a> 缓解 我们曾考虑过滤数据集去除有毒内容,但由于Welbl等人(2021年)认为这可能带来新的偏见,我们决定不这样做。
<a id="S0531"></a> 需要开展更多的工作,以采取减缓有毒成分和其他与语言模型有关的风险的方法,如在Weidinger等人(2021年)中讨论的那些方法。
<a id="S0532"></a> 风险和损害 数据从互联网上收集,因此我们的培训数据集无疑含有有毒/有偏见的内容。
<a id="S0533"></a> 此外,个人信息也很可能出现在用于培训我们的模型的数据集中。
<a id="S0534"></a> 我们推迟到Weidinger等人(2021年)进行更详细的讨论。
<a id="S0535"></a> 使用案例特别繁琐的使用案例包括产生事实不正确的信息,目的是传播这些信息或使用该模型生成带有有害意图的种族主义、性别歧视或其他有毒文字。
<a id="S0536"></a> 还有更多的案件可能造成损害。
<a id="S0537"></a> Weidinger等人(2021年)详细讨论了这种恶意使用应用。
<a id="S0538"></a> 我们遵循Mitchell等人提出的框架(2019年)。 J.
<a id="S0539"></a> 在表A9中,我们列出了本研究中使用的所有模型的模型大小和配置。
<a id="S0540"></a> 许多模式经过多次培训,为不同的培训步骤。 页:1
Page 35
<a id="S0541"></a> Chinchilla Gopher Task Chinchilla Gopher超棒54.2 51.7 电影 dialog same or diff 54.5 50.7 因果关系 判断 57.4 50.8 wono why 62.5 56.7 形式-错误 syllogism neg 52.1 电影 建议 75.6 50.5 崩溃 blossom 47.6 63.6 道德 允许性 57.3 55.1 讨论 标记 预测 13.1 11.7 战略qa 68.3 61.0 一般 知识 json 94.3 93.9 废话 worders grammar 78.0 体育 理解 71.0 54.9 隐喻 49.1 59.3 隐含 关系 49.4 36.4 航行 52.6 预置位置 as-nli 49.9 34.0 意向 承认 92.8 暂时静态 32.0 19.0 推理 about-colored gridge pligal pattle-pattal 44. hor 68.8 38.6 hindu knowledge 91.4 80.0 理解 可知 60.3 39.6 误解 65.3 61.7 逻辑-序列 64.1 36.4 涉及 75.0 62.0 数学-诱导 47.3 57.6 离散-q 54.7 45.5 幻想-理性 69.0 64.1 已知 不明 65.2 63.6 SNARKS 58.6 48.3 暗-humor-detection 66.2 83.1 crass ai 75.0 56.8 模拟-同义 38.1 17.2 涉及-极性 94.0.5 句 - 矛盾 71.7 69.1 讽刺-认同 73.0 69.7 谜 seense 85.7 68.2 评价 信息 本质 17.6 16.7 日期 - 理解 52.3 44.1 短语 - 关联 94.0 analytic-entailment 67.1 53.0 小说 65.6 59.1-out 70.9 32.5 经验-judigments 67.7 逻辑 -args 56.1 图 speech deter-deterron o-oconc-oc-o-o 表53.1 27.3 表A7 钦奇拉BIG结果。
<a id="S0542"></a> 对于BIG-bench(BIG-bench company, 2021)的每一个子集, 35个
Page 36
<a id="S0543"></a> 参数(百万) d model ffw-size kv size n-heads n-layers 44 512 2048 64 8 57 57 57 2304 64 9 9 9 74 640 540 2560 64 10 90 640 2560 64 10 106 640 2560 64 10 117 768 3072 64 12 14 15 163 768 3072 64 12 175 896 3584 64 14 14 196 896 3584 14 217 896 3584 64 14 18 251 1024 4096 64 16 278 1024 4096 16 306 10 304 10 304 1024 1096 406 64 16 16 204 204 16 204 128 23 1768 71 128 28 261 20262 206 204 204 204 204 204 204 204 128 2 128 128 28 28 60 10240 128 20 26 2 639 2560 10240 128 20 30 2 980 2560 10240 128 20 34 3 530 2688 10752 128 22 36 3 802 2816 11264 128 22 36 4 084 2944 11776 128 22 36 4 516 3072 12288 128 24 36 6 7796 3584 14336 128 28 40 9 293 4096 16384 128 32 11 452 4352 17408 128 32 47 12 295 4608 128 36 44 12 569 4608 18432 128 32 47 13 735 48646 19456 128 32 47 14 940 499 19968 128 32 49 183 5 5 20 204 128 40 47 表 A9 |.
<a id="S0544"></a> 作为这项工作的一部分,我们列出所培训的所有模型的超参数和大小。
<a id="S0545"></a> 许多已显示的模型都接受了多种学习进度表/培训标志数量的培训。 第36条