LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS Edward Hu∗ Yelong Shen∗ Phillip Wallis Zeyuan Allen-Zhu Yuanzhi Li Shean Wang Lu Wang Weizhu Chen - 全部中文论文
LORA: LOW-RANK ADAPTATION OF LARGE LAN- GUAGE MODELS Edward Hu∗ Yelong Shen∗ Phillip Wallis Zeyuan Allen-Zhu Yuanzhi Li Shean Wang Lu Wang Weizhu Chen - 全部中文论文
Page 1
<a id="S0001"></a> LORA: LARGE LAN-GUAGE MODELS Edward Hu Yelong Shen 菲利普·沃里斯·泽于安·艾伦-朱·袁日 李雪. 王·卢·王·魏祖陈微软公司 {edwardhu, yeshe, phallis, zeyuana, 人民币zhil, swang, luw, wzchen microsoft.com unzhil@andrew.cmu.edu (Version 2) ABSTRAT公司 自然语言处理的一个重要范式包括针对一般域数据的大规模预训并适应特定任务或域.
<a id="S0002"></a> 随着我们预先训练出更大的模型,完全的微调,将所有模型参数重排,变得不太可行.
<a id="S0003"></a> 以GPT-3 175B为例 — — 部署独立的有175B参数的微调模型实例是昂贵的。
<a id="S0004"></a> 我们提出"低Rank适应"(Low-Rank Adaptation),即"LORA"(LORA),它冻结了预先训练过的模型重量,并将可训练的军衔分解矩阵注入"变形器"建筑的每一层,极大地减少了下游任务的可训练参数的数量.
<a id="S0005"></a> 相较于与亚当进行GPT-3 175B的微调,LORA可以将可列车参数数量减少一万人次并降低GPU内存要求3倍.
<a id="S0006"></a> LoRA在RoBERTa、DeBERTa、GPT-2和GPT-3上的模型质量进行平面或优于微调,尽管可训练参数较少,培训吞吐量较高,而且与适配器不同,没有额外的推断延迟。
<a id="S0007"></a> 我们还对语言模型改编中的军衔不足进行了实证调查,揭示了LORA的功效.
<a id="S0008"></a> 我们在https://github.com/microsoft/LORA. 1的网址上发布了一个软件包,促进LORA与PyTorch模型的整合,并为RoBERTa、DeBERTa和GPT-2提供我们的执行和示范检查站。 许多在自然语言处理中的应用依赖于适配f(x)将一个大规模,预先训练的语言模型接入了多个下-h流应用.
<a id="S0009"></a> 这种改造通常通过微调完成,微调更新了预训模型的所有参数.
<a id="S0010"></a> 微调的ma-Pretrained jor下行是新型号包含与原型号一样多的Pretrained B = 0重量参数.
<a id="S0011"></a> 由于大型型号每几个月培训一次重量,这从W ∈ Rd×d W ∈ Rd×d GPT-2(拉德福德等,b)或RoBERTa大(Liu等,2019)的“不方便”变为GPT-3(Brown等,2020年)的A = N(0, 6.2)关键部署挑战(d 175亿可列车参数)。 1xx 许多人试图通过仅调整一些参数或图1:我们为新任务重新校正外部模块来缓解这种情况。
<a id="S0012"></a> 我们仅训练A和B,除了预先训练的每个任务模型外,储存并装入少量任务特定参数,极大地提升了部署时的业务效率.
<a id="S0013"></a> 但是,现有技术 * 平等贡献。 0相比于V1,本草案包括更好的基线,GLUE上的实验,以及更多的适配器延迟. 1 虽然GPT-3 175B以少发学习方式实现非三角性能,但微调大大提升了它的性能,如附录A. 1 1202 tcO 61]LC.sc [2v58690.6012:viXra.
Page 2
<a id="S0014"></a> 经常通过扩展模型深度或减少模型可用的序列长度引入推论纬度(Houlsby等,2019;Rebuffi等,2017年)(Li & Liang,2021;Lester等,2021;Hambardzumyan等,2020;Liu等,2021) (第3节).
<a id="S0015"></a> 更重要的是,这些方法往往不能与微调基线相匹配,在效率和模型质量之间造成了取舍。
<a id="S0016"></a> 我们从Li等人(2018年a);Aghajanyan等人(2020年)那里得到启发,这些启发表明,学到的超参数模型事实上存在于低等内在维度上。
<a id="S0017"></a> 我们假设,模型适应期间的权重变化也具有较低的“内在地位”,导致我们提议的低Rank适应办法。
<a id="S0018"></a> LoRA允许我们在神经网络中间接地训练出一些密集地层,方法是在适应过程中优化密集地层变化的分级矩阵,同时保持预受训练的重量被冻结,如图一所示.
<a id="S0019"></a> 以GPT-3 175B为例,我们显示一个非常低的军衔(即图一中的r可以是一到两个)就足够了,即使全军衔(即d)高达12,288,使得LORA既能存储又能计算高效.
<a id="S0020"></a> LORA拥有若干关键优势. ^ 可以共享并使用经过预先训练的模型来为不同的任务构建许多小型的LORA模块.
<a id="S0021"></a> 我们可以通过替换图1中的矩阵A和B来冻结共享模型并高效地切换任务,大大减少存储需要和任务切换管理费用. · LoRA使训练更有效率,在使用适应性优化器时将硬件进入屏障降低至3倍,因为我们不需要计算梯度或维持大多数参数的优化状态.
<a id="S0022"></a> 相反,我们只是优化了 注射量小得多的低级矩阵。 二. 支助 我们的简单线性设计使我们能够在部署时将可被训练的基质与被冻结的重量合并起来,比起一个完全微调的模型,通过施工,引入了没有推论延迟. ^ LoRA对许多前作方法是正交的,可以与许多方法结合,如前作调和.
<a id="S0023"></a> 术语和公约 我们经常提到 " 变形器 " 架构,并使用传统术语来说明其层面。
<a id="S0024"></a> 我们称之为变形器d的输入和输出维度大小。
<a id="S0025"></a> 我们使用 W , W , W 和 W 来指代自注意模块中的 q k v o 查询/ key/值/输出投影矩阵. W或W指0前训练的重量矩阵和XQW在适应过程中的累积梯度更新.
<a id="S0026"></a> 我们用r表示LORA模块的级别.
<a id="S0027"></a> 我们遵循(Vaswani等,2017年;Brown等,2020年)所制定的公约,并使用Adam(Loshchilov和Hutter,2019年;Kingma和Ba,2017年)进行模型优化,并使用变形器MLPforward维度d=4×d.ffn model 2 ProbleM语句. 虽然我们的建议对培训目标是不可知的,但我们侧重于语文模式,作为我们激励使用的案例。
<a id="S0028"></a> 下文简要介绍语言建模问题,特别是给特定任务提示的有条件概率最大化.
<a id="S0029"></a> 假设我们得到一个经过预先训练的自转式语言模型P(y|x)由 Φ 作参数化. 例如, P(y|x)可以是一个通用的多任务学习者,比如GPT(Radford等,b;Brown等,2020年),基于变形器架构(Vaswani等,2017年).
<a id="S0030"></a> 考虑将这个预先训练的模型适应下游有条件的文本生成任务,如归纳,机器读取理解(MRC),以及自然语言到SQL(NL2SQL).
<a id="S0031"></a> 每个下游任务都由上下文-目标对的训练数据集来代表: Z = {(x,y)},其中x和i i = 1.,N i y都是指代的序列.
<a id="S0032"></a> 例如,在NL2SQL中,x是一个自然语言查询,而它的iii对应的SQL命令;对于归纳,x是一篇文章的内容和y的汇总. (单位:千美元)
Page 3
<a id="S0033"></a> 在全面微调期间,该模型被初始化为前训练的权重QQQ并被更新到QQ+0,通过反复按照梯度来达到条件语言模型的最大化目标:QQYQ(cid:88)(cid:88)最大对数(P(y |x,y)) (1)QQt <t (x,y)∈Zt=1 充分微调的主要缺点是,对于每一项下游任务,我们学习了一套不同的参数QQQ,其维度等同QQQQ.
<a id="S0034"></a> 因此,如果预训型号为"0"(如GPT-3有QQ 175亿分之分),那么存储和部署许多独立型号为"0"的"微调型号"的"0"(微调型号)可能具有挑战性,如果可行的话.
<a id="S0035"></a> 在本文中,我们采用了一个更具参数效率的方法,即任务特定参数加量 = = = (+) 由一组较小的参数与 = (cid:28) = = (+) 编码。
<a id="S0036"></a> 因此,查找 QQ 的任务会比 : 0 = = === (代码: 88 (cid: o) (cid: 1) 匹配的日志 p (y ==x, y) (2) ===0 == (t (x, y) === 1) 在接下来的章节中,我们提议使用低等代表来编码QQ,这既具有计算效率,又具有内存效率.
<a id="S0037"></a> 当训练前的型号是GPT-3 175B时,可训练参数QQ的数量可以小到QQ的0.01%. 0 3 AREN'T ExSISTING SOLUTIONS GOOW Enough?
<a id="S0038"></a> 我们所要解决的问题绝非新问题。
<a id="S0039"></a> 自转会学习开始以来,有数十部作品寻求使模型适应更加参数化和计算效率.
<a id="S0040"></a> 关于一些有名的作品的调查,见第6节.
<a id="S0041"></a> 以语言模型为例,在高效改造方面有两种突出策略:增加适配层(Houlsby等,2019;Rebuffi等,2017;Pfeiffer等,2021;Ru'cle'等,2020)或优化某些形式的输入层活化(Li & Liang,2021;Lester等,2021;Hambardzumyan等,2020;Liu等,2021).
<a id="S0042"></a> 然而,这两种战略都有其局限性,特别是在大规模和长期性敏感的生产情景中。
<a id="S0043"></a> 适应层引入推论纬度 适配器有很多变种.
<a id="S0044"></a> 我们专注于由Houlsby等人(2019年)设计的最初设计,每个变形板块有两个适配层,而最近由Lin等人(2020年)设计,每个区块只有一个,但又增加了一个图层Norm(Ba等人,2016年)。
<a id="S0045"></a> 虽然人们可以通过推倒地层或利用多任务设置来减少总体延迟(Ru'cle'等,2020年;Pfeiffer等,2021年),但没有直接绕过适配器地层中的额外计算.
<a id="S0046"></a> 这似乎是一个非问题,因为适配器层被设计成只有很少的参数(有时为原模型的 <1%),因为有一个小的瓶颈维度,限制了它们可以添加的FLOP.
<a id="S0047"></a> 然而,大型神经网络依赖于硬件并行性来保持潜伏性低,适配层必须相继处理.
<a id="S0048"></a> 这在通常批量大小为一等分量的在线推论设置上有所区别.
<a id="S0049"></a> 在一个没有模型平行性的通用情景中,例如运行对GPT-2的推论(Radford等人,b)介质在一个单一的GPU上,我们看到使用适配器时的耐受度明显增加,即使有很小的瓶颈维度(表一).
<a id="S0050"></a> 这个问题在我们需要像Shoeybi等人(2020年);Lepikhin等人(2020年)所做的那样硬化模型时会变得更加严重,因为额外的深度需要AllReduce和Broadcast等更同步的GPU操作,除非我们多次重复存储适配器参数.
<a id="S0051"></a> 直接优化提示很困难 另一个方向,以前缀调音为例(Li & Liang,2021),面临着不同的挑战.
<a id="S0052"></a> 我们观察到前缀调音难以优化,其性能在可训练参数中发生非莫名的变化,证实了原始纸中的类似观察.
<a id="S0053"></a> 更根本的是,为适应而保留一部分序列长度必然会减少可用于处理下游任务的序列长度,我们怀疑这会使快取的调试比起其他方法来更不起作用.
<a id="S0054"></a> 我们把任务执行情况的研究推迟到第5节3。
Page 4
<a id="S0055"></a> 批量尺寸 32 16 1 序列长度 512 256 128 * 0.5M 11M Fine-Tune/LORA 1449.4±08 338.0±0.6 19.8±2.7 适配器L 1482.0±1.0 (+2.2%) 354.8±0.5 (+5.0%) 23.9±2.1 (+20.7%) 适配器H 149.2.2±1.0 (+3.0%) 366.3±05 (+8.4%) 25.8±2.2 (+30.3%) 表1:以毫秒计的GPT-2介质中单次前行传入的强度,平均100多起试验.
<a id="S0056"></a> 我们使用NVIDIA Quadro RTX8000。“|Θ|”表示适配器层中可训练参数的数量。
<a id="S0057"></a> 适配器L和适配器H是适配器调音的两个变体,我们在第5.1节中对此进行了描述.
<a id="S0058"></a> 适配器层引入的推论纬度在在线,短序列-长场景中可以显著.
<a id="S0059"></a> 见附录B。 我们描述了LORA的简单设计及其实际好处.
<a id="S0060"></a> 本文概述的原则适用于深层学习模型中的任何密集层,尽管我们只注重在实验中的变形语模型中的某些分量,作为激励使用的案例. 4.1 低射程-射程更新材料 神经网络包含许多密集层,进行矩阵乘法.
<a id="S0061"></a> 这些地层中的权重矩阵一般都有全等分.
<a id="S0062"></a> Aghajanyan等人(2020年)在适应一项具体任务时指出,经过预先训练的语言模型具有较低的“intrisic维度”,尽管随机投射到一个较小的子空间,但仍能有效地学习。
<a id="S0063"></a> 受此启发,我们假设,在适应过程中,对重量的更新也具有较低的“内在排名”。
<a id="S0064"></a> 对于预训重量矩阵W QQ Rd×k,我们通过代表后者的低等去0成份W + QQW = W + BA来限制其更新,其中B → Rd×r,A → Rr×k,和分级r(cid:28 min(d,k). 0 在训练期间,W被冷冻并没有得到梯度更新,而A和B包含可被训练的0参数.
<a id="S0065"></a> 注意W和QQW = BA均以相同的输入相乘,而各自的0输出向量则以坐标相相取.
<a id="S0066"></a> 对于h = W x,我们经过修改的前传分数:0 h = W x + + → W x = W x + BAx (3) 0 我们用图1来说明我们的再补偿.
<a id="S0067"></a> 我们使用一个随机的高斯初始化A和0为B,所以QQW=BA在训练开始时为0.
<a id="S0068"></a> 然后用α来缩放 α r 是一个常数
<a id="S0069"></a> 当与亚当进行最优化时,调取α与调取学习速率大致相同,如果我们适当缩放初始化.
<a id="S0070"></a> 因此,我们只是把α设定在第一个r,我们试图不调谐它。
<a id="S0071"></a> 这个缩放有助于减少当我们变化为r(Yang & Hu, 2021)时重调高参数的需要. 全面精细化概括. 一种较为通俗的微调形式,可以训练出一组预先训练过的参数.
<a id="S0072"></a> LoRA走得更远,在适应过程中不需要积分梯度更新到权重矩阵即可完全排位.
<a id="S0073"></a> 这意味着,当将LORA应用到所有重量矩阵和培训所有偏差2时,我们通过将LORA的分级定为预训练重量矩阵的分级,大致恢复了完全微调的表现.
<a id="S0074"></a> 换句话说,当我们增加可训练参数3的数量时,训练LORA大致集中到训练原始模型上,而以适配器为基础的方法集中到MLP和以前缀为基础的方法集中到一个不能需要长时间输入序列的模型上.
<a id="S0075"></a> 在投入生产时,可以明确计算并存储W=W+BA,并照常进行推论.
<a id="S0076"></a> 请注意,W和BA都在Rd×k. 0 0 当我们需要切换到另一个下游任务时,我们可以通过减去BA和0来恢复W,然后添加一个不同的B(cid:48)A(cid:48),这是一种快速操作,其内存的上方很少.
<a id="S0077"></a> 关键是,与重量相比,这2个参数的参数微不足道。 3 适应艰巨任务时的必然性。 页:1
Page 5
<a id="S0078"></a> 保证在推论期间,我们不采用任何额外的延迟,而采用建筑的微调模型。 4.2 利用洛拉进行贸易 原则上,我们可以将LORA应用于神经网络中任何子集的重量矩阵来减少可受训练参数的数量.
<a id="S0079"></a> 在"变形器"架构中,自留心模块(W,W,W,W)有四个重量矩阵,而MLP模块则有两个.
<a id="S0080"></a> 我们把W(或W,W) q k v o q k v 当作维度d×d的单个矩阵,尽管输出维度通常被切入了注意头.
<a id="S0081"></a> 我们的研究仅限于调整下游任务的注意力分量,并冻结MLP模块(因此它们没有接受下游任务培训),以做到简单和参数效率. 我们进一步研究第7.1节中的变形器对调整不同类型注意力重量矩阵的影响。
<a id="S0082"></a> 我们把对MLP层、LayleNorm层和偏见的实证调查留给未来工作。
<a id="S0083"></a> 最大的好处是内存和储存使用减少。
<a id="S0084"></a> 对于一个与亚当一起训练的大型变形器,如果r(cid:28) d,我们可将VRAM的使用减少至2/3,因为我们不需要存储被冻结的模型参数的优化状态.
<a id="S0085"></a> 在GPT-3175B上,我们把训练期间的VRAM消耗从1.2TB减少到350GB.
<a id="S0086"></a> 随着r = 4 并仅调整了查询和数值预测矩阵,检查站规模被缩小了大约10 000x(从350GB减少到35MB)4。
<a id="S0087"></a> 这使得我们能使用显著较少的GPU进行训练并避免I/O瓶颈.
<a id="S0088"></a> 另一个好处是,我们可以在任务之间进行调换,同时以更低得多的成本部署,只交换LORA的重量,而不是所有参数。
<a id="S0089"></a> 这使得许多定制的模型得以被创建,这些模型可以在将预先训练过的重量存储于VRAM的机器上在苍蝇上互换.
<a id="S0090"></a> 我们还观察到,在GPT-3175B的训练中,比起全微调5,速度提高了25%,因为我们不需要计算绝大多数参数的梯度。
<a id="S0091"></a> 例如,如果人们选择将A和B吸收到W中去去去去去消除额外的推论空想,那么将不同A和B的任务的输入分批处理就不是直接的了.
<a id="S0092"></a> 虽然不可能合并权重并动态地选择LORA模块,用于在不临界情况下的批量样本。 5 精神警告 我们评价洛拉在RoBERTa(Liu等,2019年)、De-BERTa(He等,2021年)和GPT-2(Radford等,b)上下游的任务业绩,然后扩大至GPT-3 175B(Brown等,2020年)。
<a id="S0093"></a> 我们的实验涵盖了从自然语言理解(NLU)到生成(NLG)的广泛任务.
<a id="S0094"></a> 具体来说,我们评价了罗贝塔和德贝塔的GLUE(Wang等,2019年)基准。
<a id="S0095"></a> 我们跟踪李同良(2021)在GPT-2上的设置进行直接比较,并添加了WikisQL(Zhong等,2017年)(NL为SQL查询)和SAMSum(Gliwa等,2019年)(协商总结),用于GPT-3上的大规模实验.
<a id="S0096"></a> 关于我们使用的数据集的更详细情况见附录C。
<a id="S0097"></a> 我们用NVIDIA Tesla V100进行所有实验. 5.1 巴西 为了与其他基线作广义的比较,我们复制了先前工作所用的设置,并尽可能重新使用所报告的数量。
<a id="S0098"></a> 然而,这意味着某些基线可能只出现在某些实验中。
<a id="S0099"></a> Fine-Tuning(FT)是一种常见的适应方法.
<a id="S0100"></a> 在微调期间,该模型被初始化为预受训练的重量和偏差,所有模型参数都经过梯度更新. 一个简单的变体是只更新一些地层而冻结其他地层.
<a id="S0101"></a> 我们列入了先前工作(Li & Liang, 2021年)中报告的关于GPT-2的基准,该基准仅适应后两层(FTTop2)。 4,在部署时我们仍然需要350GB型号;然而,存储100个被改造的型号只需要350GB + 35MB 100 → 354GB,而不是100 350GB → 35TB. 5 对于GPT-3 175B,完全微调的训练吞吐量为每V100 GPU32.5个活字符号/秒;对于模型平行主义,重量硬字符号相同,对于LORA,活字符号为每V100 GPU43.1个活字符号/秒. 5
Page 6
<a id="S0102"></a> model & Method #可训练参数 MNLI SST-2 MRPC CoLA QQP RTE STS-B Avg.
<a id="S0103"></a> RoB(FT) 125.0M 87.6 94.8 90.2 63.6 92.8 91.3 RoB(AdptD) 0.1M 84.7 92.7 62.7 62.8 62.8 84.0 8.8 4 BroB(AdptD) 0.3 M 87.1 94.2 94.2 89.7 84.4 +2 ±2 ±1 ±1 ±4 ±1 ±0.0.0 ±2 ±3 ±3 ±3 ±3 ±3 ±3 ±3 ±3 ±3 ±3 ±1 ±1 94.0.1 ±2 96.2 ±3 ±0 B 9 ±3 96.2 ±9 ±9 96.9 9 94-7 94-7 96.2 →6 Pt 大型 90.8.2 ±2 96. 4±2±1±1.7 RoB(AdptH)→0.8M 90.3 96.3 87.7 66.3 94.7 91.5 72.9 91.5 86.4 大±3 ±.5 ±1.7 ±2.0 ±2 ±1 ±2.9 ±.5 RoB(LORA)→0.8M 90.6 96.2 90.2 ±6 85.2 92.3 88.6 大±2 ±5 ±1.0±1.9 ±3 ±2 ±1.1 ±5 DEB(FT) 1500.0M 91.8 97.2 92.0 7 96.0 92.9 92.9 92.9 91.1 XXL DeB(LORA) 4.7M 91.9 96.9 92.6 72.4 96.0 92.9 94.9 93.9 93.9 93.0 91 XXL ±2 ±2 ±6 ±1.1 ±1 ±1 ±4 ±2 表2:在基准大XXL GLUE基准上采用不同适应方法的RoBERTa、RoBERTa和DeBERTa。
<a id="S0104"></a> 我们报告MNLI的总体精度(匹配和不匹配),Matthew的CoLA相关性,Pearson的STS-B相关性,以及其他任务的准确性.
<a id="S0105"></a> 更高的水平对于所有衡量标准都更好。 * 表示以前著作中公布的数字。 † 表示运行在类似于Houlsby等人(2019年)的设置中进行公平比较.
<a id="S0106"></a> 唯偏或BitFit是基准,我们只训练偏向向量,同时冻结其他一切.
<a id="S0107"></a> 同时,BitFit也研究了这一基线(Zaken等人,2021年)。
<a id="S0108"></a> 前缀嵌入调音(PreEmbed)在输入符中插入特殊符.
<a id="S0109"></a> 这些特殊标志有可训练的词嵌入并一般不在模型的词汇中.
<a id="S0110"></a> 将这种标志放在哪里可对业绩产生影响。
<a id="S0111"></a> 我们着重讨论“前置”和“后置”,两者都由李和梁(2021年)讨论。
<a id="S0112"></a> 我们使用l(resp. l)表示前缀(resp. infix)符号的数量.
<a id="S0113"></a> p i可训练参数数为QQ = d × (l + l). model p i Prefix-layer turn (PreLayer)是前缀-嵌入式调制的扩展.
<a id="S0114"></a> 我们不是仅仅学习一些特殊符号的嵌入词(或等同地,嵌入层后活化),而是学习每个变形器层后活化.
<a id="S0115"></a> 从前几层计算出来的活化装置只是被可训练装置所取代。
<a id="S0116"></a> 由此得出的可列车参数为QQ=L×d×(l+l),其中L为变形器层数. 根据Houlsby等人(2019年)的建议,模型 p i 适配器调试在自留能模块(和MLP模块)和后续剩余连接之间插入适配器层.
<a id="S0117"></a> 适配器层中有两个完全相连的地层带有偏差,介于两者之间。
<a id="S0118"></a> 最近,Lin等(2020年)提出一个更高效的设计,适配器层只在MLP模块后和LayerNorm后应用.
<a id="S0119"></a> 这与Pfeiffer等人(2021年)中提议的另一个代号非常相类似,我们称之为AdapterP.
<a id="S0120"></a> 我们还包括另一个基线呼叫AdapterDrop(Ru'cle' et al.,2020年),为提高效率而降下一些适配层(AdapterD)。
<a id="S0121"></a> 我们尽可能引用以往工作的数字,以尽量扩大我们与基线的比较;它们排在第一栏的星号(*)。
<a id="S0122"></a> 在所有情况下,我们都有 QQ = Lˆ (2 × d × r + r + d (d)) + 2 × Lˆ → d 其中 Lˆ adpt 型号 LN 型号 Adpt 为适配器层数, Lˆ 为可列车层数 (如 在 AdapterL).
<a id="S0123"></a> LN LoRA 与现有的重量矩阵平行地添加了可受训练的对等分解矩阵.
<a id="S0124"></a> 正如第4.2节所提到,我们只在大多数实验中将LORA应用到W和W以简单化. 页:1 可列车参数的数量由等级 r 和原始重量的形状决定: |Θ| = 2 × Lˆ D× r,其中 Lˆ 为我们应用 LoRA 的重量矩阵数量.
Page 7
<a id="S0125"></a> 型号 & 方法#可训练E2E NLG挑战参数 BLEU NLG挑战参数 11.09M 67.3 8.50 70.7 2.44 ±6 ±07 ±2 ±2 M (FTOP2) 354.92M 68.2 8.62 GPT-2 M (AdapterL) 0.37 M 66.3 8.41 45.0 69.8 2.40 GPT-2 M (AdapterL) 11.09M 68.9 GPT-2 2.47 GPT-2 ±2 ±2 ±02 M (A) 不同方法 0.35 M 2.5 ±8 ±8 GPT 2.5 ±2 ±8 M 2.5 ±2 ±02 M 2.02 2.02 2.02 2.02 2.80 M 1. ±2 ±2 ±2 ±1 ±1 ±1 ±1 ±02 适应 GPT-2 L-FT 77.04 L.
<a id="S0126"></a> LoRA的绩效超过了几个具有可比或较少可训练参数的基线。
<a id="S0127"></a> 我们的实验显示信任的间隔 * 表示以前著作中公布的数字。 5.2 ROBERTA BASE/LARGE RoBERTA(Liu等人,2019年)优化了BERT(Devlin等人,2019年a)最初提出的培训前食谱,并提升了后者的任务性能,但没有引入更多的可训练参数.
<a id="S0128"></a> 虽然近年来RoBERTa被GLUE基准(Wang等,2019年)等NLP领导板上更大得多的模型所超越,但对于其规模在从业人员中仍然是一个有竞争力和受欢迎的预先训练的模式.
<a id="S0129"></a> 我们从HuggingFace变形器库(Wolf等人,2020年)取出经过预先训练的RoBERTa基地(125M)和RoBERTa大型(355M),从GLUE基准评价不同高效适应方法任务的表现.
<a id="S0130"></a> 我们还根据Houlsby等人(2019年)和Pfeiffer等人(2021年)的设置复制了它们.
<a id="S0131"></a> 为了确保进行公平的比较,我们在与适配器比较时对评估LORA的方法做了两个关键的改变.
<a id="S0132"></a> 首先,我们对所有任务使用相同的批量尺寸,并使用128的序列长度来匹配适配器基线.
<a id="S0133"></a> 其次,我们将模型初始化为MRPC,RTE,和STS-B的预训模型,而不是像微调基线那样已经适应了MNLI的模型.
<a id="S0134"></a> 从Houlsby等人(2019年)开始的这种更受限制的设置之后的运行被标注为 .
<a id="S0135"></a> 其结果见表2(三节)。
<a id="S0136"></a> 关于使用的超参数,详见D.1节。 5.3 DEBERTA XXL DeBERTa(He等人,2021年)是BERT的一个较新的变体,在更大范围内接受培训,并在GLUE(Wang等人,2019年)和SuperGLUE(Wang等人,2020年)等基准上表现非常有竞争力.
<a id="S0137"></a> 我们评价LORA是否能够在GLUE上保持完全微调的DeBERTa XXL(1.5B)的性能相匹配.
<a id="S0138"></a> 其结果见表2(Bottom科)。
<a id="S0139"></a> 关于使用的超参数,详见D.2节。 5.4 GPT-2 中型/升 在证明LORA可以作为NLU完全微调的竞争性替代品后,我们希望回答如果LORA仍然在NLG模型上占上风,例如GPT-2中和大(Radford等人,b.).
<a id="S0140"></a> [永久失效連結] 我们尽量贴近李同良(2021年)直接比较.
<a id="S0141"></a> 由于空间的限制,我们只在本节中介绍我们对E2E NLG挑战(表3)的结果。
<a id="S0142"></a> 关于WebNLG(Gardent等,2017年)和DART(Nan等,2020年)的成果,参见F.1节.
<a id="S0143"></a> 我们列出了D.3.7节所用的超参数。
Page 8
<a id="S0144"></a> #可训练的WikiSQL MNLI-m SAMSUM Model and Method 参数 Acc. (%) Acc. (%) R1/R2/RL GPT-3(FT)175,255.8M 73.8 89.5 52.0/28.0/44.5 GPT-3(BitFit) 14.2M 71.3 91.0 51.3/27.4/43.5 GPT-3(PreEmbed) 3.2M 63.1 88.6 48.3/24.2/40.5 GPT-3(PreLayer) 20.2M 70.1 89.5 50.8/27.3/43.5 GPT-3(AdapterH) 7.1M 71.9 89.8 53.0/28.9/44.8 GPT-3(AdapterH) 40.1M 73.2 91.5 53.2/29.49.45.1 GPT-3(LORA) 4.7M 73.4 53.8/29.45.9 GPT-3(LORA) 37.7M 74.0. 91.2 5 53.29.2/45.1 表4:不同适应方法在GPT-3175B上的性能。
<a id="S0145"></a> 我们在WikisQL上报告逻辑形式验证精度,在MultiNLI上报告验证精度,在SAMSum上报告Ruge-1/2/L.
<a id="S0146"></a> LORA的表现优于以往的做法,包括全面微调.
<a id="S0147"></a> WikiSQL的结果显示,三个度量衡的波动率为±0.5%,MNLI-m约为±0.1%,SAMSum约为±0.2/±0.2/±0.1。 5.5 升至GPT-3 175B 作为LORA的最终应力测试,我们以1,750亿个参数被提升到GPT-3.
<a id="S0148"></a> 由于训练成本高,我们只报告某项任务的典型标准偏差,而不是每个输入都提供一个.
<a id="S0149"></a> 关于使用的超参数,详见D.4节。
<a id="S0150"></a> 如表4所示,LORA匹配或超过所有三个数据集的微调基线。
<a id="S0151"></a> 请注意,如图2所示,并非所有方法都能够单调地受益于更多的可训练参数。
<a id="S0152"></a> 当我们使用超过256个特殊符来进行前缀嵌入式调取或超过32个特殊符来进行前缀层调取时,我们观察到了显著的性能下降.
<a id="S0153"></a> 这证实了李同良(2021年)的类似观察.
<a id="S0154"></a> 虽然对这一现象的彻底调查超出了这项工作的范围,但我们怀疑,由于有了更多的特殊标志,投入分配将进一步偏离培训前的数据分配。
<a id="S0155"></a> 另外,我们调查F.3.0.75 0.70 0.65 0.60 0.55 0.55 6 7 8 9 10 11 log10 #可训练参数 ycaruccA noitadilaV WikiSQL 多NLI相配0.92 0.90 方法 Fine-Tune 0.88 前缀 Embed 前缀 Layer 0.86 适配器(H) LORA 0.84 6 7 8 9 10 11 log10#可训练参数 图2:GPT-3 175B 验证精度与WikiSQL和 MNLI相匹配的几种可训练参数的数量。
<a id="S0156"></a> LORA表现出更好的可扩展性和任务性能.
<a id="S0157"></a> 关于所绘制的数据点,详见F.2节。 6 相關的Works变形语言模型.
<a id="S0158"></a> 变形金刚(Vaswani等,2017年)是一款花序至花序建筑,重用自心.
<a id="S0159"></a> Radford等 (a)通过使用一叠变形器解码器,将其应用于自旋式语言模型.
<a id="S0160"></a> 此后以变形器为主的语言模型主导了NLP,在许多任务中实现了最先进的. BERT(Devlin等,2019年b)和GPT-2(Radford等,b)都出现了一种新的范式——两者都是大型变形器lan-8
Page 9
<a id="S0161"></a> guage模型接受了大量文本的培训 — — 在对一般域数据进行预训后对任务特定数据进行微调,与直接对任务特定数据进行培训相比,它提供了显著的性能收益.
<a id="S0162"></a> 培训更大的变形人一般能提高业绩,而且仍然是积极的研究方向。
<a id="S0163"></a> GPT-3(Brown等,2020年)是迄今为止接受过175B参数培训的最大的单变形语言模型.
<a id="S0164"></a> 虽然GPT-3 175B可以仅用几个额外的训练实例来调整其行为,但结果很大程度上取决于输入快取(Brown等,2020年).
<a id="S0165"></a> 这需要一种经验艺术,即编组和格式化的提示,以最大限度地发挥模型在理想任务上的性能,这被称为即时工程或即时黑客.
<a id="S0166"></a> 精细调整一个在一般领域预先培训的模型,用于Devlin等人(2019年b);Radford等人(a)。
<a id="S0167"></a> 它的变体包括仅仅学习一个子集的参数Devlin等 (2019b); Collobert & Weston (2008),然而从业者经常重新训练所有它们,以最大限度地发挥下游的性能.
<a id="S0168"></a> 然而,由于GPT-3 175B的庞大性能使得由于它生产的大检查站和高硬件出入口障碍而难以以通常的方式进行微调,因为它的内存足迹与预训相同.
<a id="S0169"></a> 许多人建议在神经网络中现有地层之间插入适配层(Houlsby等,2019;Rebuffi等,2017;Lin等,2020)。
<a id="S0170"></a> 我们的方法使用类似的瓶颈结构对重量更新施加了低级限制.
<a id="S0171"></a> 关键功能差异是,在推论期间,我们所学的权重可以与主权重相合并,因此没有引入任何耐久性,适配层的情况并非如此(第3节). 适配器的同位素延伸是COMPACTER(Mahabadi等,2021年),它基本上使适配器层无法使用克罗内克产品,并带有一些预先确定的分量方案.
<a id="S0172"></a> 同样地,将LORA与其他以收音机产品为基础的方法结合起来,有可能提高其参数效率,我们留给今后的工作。
<a id="S0173"></a> 最近,许多人提议优化输入词嵌入来代替微调,类似于对即时工程的连续和可分化的概括(Li & Liang, 2021; Lester等, 2021; Hambardzumyan等, 2020; Liu等, 2021)。
<a id="S0174"></a> 我们的实验部分包含了与李同良(2021年)的比较.
<a id="S0175"></a> 然而,这行作品只能通过在快取中使用更特殊的符号来扩大,当学习到位置嵌入时,它占用了任务符号可用的序列长度.
<a id="S0176"></a> 低等结构在机器学习中非常常见. 许多机器学习问题都有某些内在的低等结构(Li等,2016;Cai等,2010;Li等,2018b;Grasedyck等,2013).
<a id="S0177"></a> 此外,众所周知,对于许多深层学习任务,特别是那些神经网络高度超标的学习任务,所学神经网络在训练后将享有低等属性(Oymak等,2019年).
<a id="S0178"></a> 一些前作在培训原始神经网络时甚至明确施加了低级约束(Sainath等,2013年;Povey等,2018年;Zhang等,2014年;Jaderberg等,2014年;Zhao等,2016年;Khodak等,2021年;Denil等,2014年);然而,据我们所知,这些作品都没有考虑低级更新到被冻结的模式上下游任务的适应.
<a id="S0179"></a> 在理论文献中,已知神经网络超越了其他古典学习方法,包括相应的(无限-width)神经真核(Allen-Zhu等,2019;Li & Liang等,2018),而基础概念类具有一定的低等结构(Ghorbani等,2020;Allen-Zhu等,2019;Allen-Zhu等,2020a).
<a id="S0180"></a> Allen-Zhu & Li (2020b)的另一个理论结果表明,低等级的适应对对抗训练可能有用.
<a id="S0181"></a> 总之,我们认为,我们提议的低级适应更新受到文献的启发。 7 了解低调的更新 鉴于LORA的经验优势,我们希望进一步解释从下游任务中吸取的低等级适应的属性.
<a id="S0182"></a> 请注意,低等结构不仅降低了硬件进入障碍,使我们能够平行地进行多项实验,而且还能更好地解释更新后重量如何与预先训练过的重量相关。
<a id="S0183"></a> 我们的研究重点是GPT-3 175B, 在那里,我们实现了最大程度的可训练参数的削减(最多为10,000xx),而没有对任务执行产生不利影响。
<a id="S0184"></a> 我们进行一系列的经验研究,以回答以下问题: (1) 鉴于一个参数预算限制,在经过预先培训的变形器中,哪个子集的权重矩阵,我们应该适应9
Page 10
<a id="S0185"></a> 最大限度地提高下游的性能? 2) “最佳”适应矩阵QQW是否真的排位不足?
<a id="S0186"></a> 如果是的话,实际使用什么等级? 3) QQW和W有什么联系?
<a id="S0187"></a> 我们认为,我们对问题(2)和(3)的答复阐明了在下游任务中采用预先训练的语言模型的基本原则,这是NLP中的一个关键话题. 7.1 在贸易中哪些Wheight Matrics 我们应该应用洛拉?
<a id="S0188"></a> 鉴于参数预算有限,我们应该与LORA一起调整哪些类型的权重,以取得下游任务的最佳业绩?
<a id="S0189"></a> 如第4.2节所提及,我们只考虑自觉模块中的权重矩阵。
<a id="S0190"></a> 我们在GPT-3 175B上设定了18M的参数预算(如果存储在FP16中,大概为35MB),如果调整了一种类型的注意力权重,则对应r=8;如果调整了两种类型的注意力权重,则对应r=4。
<a id="S0191"></a> 结果见表5。 o克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克 表5:在GPT-3中将LORA应用到不同类型的注意力分量后,考虑到同样数量的可训练参数,WikiSQL和MultiNLI上的验证精度.
<a id="S0192"></a> 调整W和qW的总体表现最好。
<a id="S0193"></a> 我们发现随机种子的标准偏差 与给定数据集一致, 我们在第一栏中报告。
<a id="S0194"></a> 注意将所有参数放入QQW或QQW中会导致性能显著降低,qk同时使W和W两个都适应,结果最好.
<a id="S0195"></a> 这表明,即使四克v的排名也能在QQW中获取足够的信息,因此比起更能适应分级较大的单一类型的分量,更为可取. 7.2 洛拉的占领区是什么?
<a id="S0196"></a> 我们把注意力转向r级对模型性能的影响.
<a id="S0197"></a> 我们适应{W,W},qv{W,W,W,W},只是W比较一下。 q k v c 重量类型 r = 1 r = 2 r = 4 r = 8 r = 64 W 68.8 69.6 70.5 70.4 70.4 70.4 维基语录链接: q W , W 73.4 73.3 73.7 73.8 73.5 q v W, W , W 74.1 73.7 74.0 74.0 73.9 q k v o W 90.7 90.9 91.1 90.7 q MultiNLi (±0.1%) W W 91.3 9.1.3.6 91.4 q v W, W W 9.1.2 91.7 91.7 9.1.5 91.4 q k v o 表 6: WikiSQL 和多NLi的校正准确度,级别不同 r.
<a id="S0198"></a> 令人惊讶的是,一个小的军衔足以使W和W在数据集上都适应,而训练W单独q v q则需要更大的r.
<a id="S0199"></a> 我们在H.2节对GPT-2进行了类似的试验。
<a id="S0200"></a> 表6显示,令人惊讶的是,LORA已经用一个非常小的r(对{W,W}来说比仅仅W.)进行竞争。
<a id="S0201"></a> 这表明更新矩阵QQW可能有一个很小的q v q “intrinsic 排名”。 为了进一步支持这一发现,我们检查通过不同的r选择和不同的随机种子所学到的子空间的重叠.
<a id="S0202"></a> 我们认为,增加r并不涵盖更有意义的子空间,这表明低级适应矩阵就足够了。 6 然而,我们并不期望一个小r为每一项任务或数据集工作。
<a id="S0203"></a> 考虑以下思想实验:如果下游任务使用的语言与预训中使用的语言不同,那么再培训整个模式(类似于r = d的LORA)肯定能够以一个小r 模式10超越LORA.
Page 11
<a id="S0204"></a> 不同r的子空间相近性.
<a id="S0205"></a> 使用同一预训模式的A和A是学习到的适配器=8 r=64分量矩阵,分级为r=8和64分量矩阵,我们进行单相值分解,并获得右单相单元矩阵U和U.7. 我们希望使用- ar=8 ar=64 swer: U中顶端i单向量所跨越的子空间(对于 1 ≤ i ≤ 8) 中Ar=8 包含在 U上端j单向量所跨越的子空间(对于 1 ≤ j ≤ 64) 中 ?
<a id="S0206"></a> 我们mea-Ar=64确定这一数量,并以基于Grassmann距离的正态子空间相似性(见附录G更正式的讨论) QQU i(cid:62) U j ||2 φ (A,A,i,j) = Ar=8 Ar=64 F ∈ [0, 1] (4) r=8 r = 64 min(i,j) U 代表了与上-i单向量对应的U的列.
<a id="S0207"></a> ar=8 ar=8 φ (-)的射程为 [0, 1],其中 1 表示子空间完全重叠,0 为完全分离.
<a id="S0208"></a> 见图3, i和j变化如何。
<a id="S0209"></a> 由于空间限制,我们只研究第48层(96层),但结论对其他层也有保留,如H.1节所示:1.0 0.8 0.6 0.4 0.2 0.0 1 6 21 81 32 92 53 04 64 25 85 j i 1 3 4 5 6 7 8 Wq 1 6 81 32 92 53 04 64 25 85 (Ar = 64,Ar = 8 i, j) Wv Wq Wv 1 3 4 5 7 8 1 2 3 4 5 6 7 j j j j j j j j 图3:A和 A列向量在QQW 和 r = 8 r= 64 q v 之间的空间相似性。 第三和第四位数字在前两个数字中放大了左下三角形.
<a id="S0210"></a> r=8的上行方向包含在r=64中,反之亦然.
<a id="S0211"></a> 我们从图3中得出了重要的意见。
<a id="S0212"></a> 与上单向量相对应的方向在A和A之间明显重叠,而其他方向则不重叠.
<a id="S0213"></a> 具体来说,Ar=8 r=64 v q=8的QQW(resp. ∆W)和A的QQW(resp. ∆W)共享了维度1的子空间与正态v q r=64的相似性 > 0.5,解释了r=1为何在我们下游任务中GPT-3的性能相当好.
<a id="S0214"></a> 由于A和A都是使用相同的预训模式来学习的,图3显示r=8 r=64,A和A的顶端单数-向导是最有用的,而其他方向r=8 r=64可能包含在训练期间所积累的大部分随机噪声.
<a id="S0215"></a> 因此,适应矩阵的排名确实很低。
<a id="S0216"></a> 不同随机种子之间的亚空间相似性.
<a id="S0217"></a> 我们进一步证实了这一点,将两个随机播种的跑道与r = 64之间的正态子空间相类似,见图4。 QQW似乎拥有比QQW更高的“内在等级”,因为两个运行都为QQW学习了更常见的单相值 sercq v 等分法,这与表6中我们的经验观察是一致的。 作为比较,我们也绘制出两个随机的高斯矩阵,它们彼此之间没有任何共同的单数值方向. 7.3 " 适应马特利克斯 " 如何协调W?
<a id="S0218"></a> 我们进一步调查QQW和W的关系.
<a id="S0219"></a> 特别是,QQW与W是否有高度关联? (或者在数学上,QQW主要包含在W的顶端单数方向上?) 另外, 7Note 也可以用 B 和 左 singular 单元矩阵进行类似的分析 — 我们用 A 来进行实验。 第11个
Page 12
<a id="S0220"></a> 0: 0: 0: 0: 0: 0: 1 5: 51: 02: 52: 03: 43: 93: 44: 94: 45: 95: 1: 8: 16: 24: 32: 40: 48: 5: 01: 02: 03: 43: 93: 44: 95(Ar=64, A0r=64,i,j) Wv: 1: 5: 01: 02: 52:03: 43: 93: 44: 94: 45: 95 随机高斯克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克
<a id="S0221"></a> 右:两个随机高斯矩阵的列向量之间的同热相图 q v.
<a id="S0222"></a> 其他层见H.1节。 与W中的相应方向相比,
<a id="S0223"></a> 这可以揭示调整预训语言模型的基本机制.
<a id="S0224"></a> 为了回答这些问题,我们通过计算U(cid:62)W V(cid:62)将W投射到QQW的r-维子空间上,其中U/V是QQW的左/右单数-矢量矩阵.
<a id="S0225"></a> 然后,我们把弗罗贝尼乌斯规范比作(Cid:107)U(Cid:62)W V(Cid:62)(Cid:107)和(Cid:107)W(Cid:107).
<a id="S0226"></a> 作为比较,我们还计算出F(Cid:107)U(Cid:62)W V(Cid:62)(Cid:107),取而代之的是以W的顶端r单向量或随机矩阵. F r = 4 r = 64 → W r → W 随机 → W 随机 q q q q q → U (cid:62)W V (cid:62) = 0.32 21.67 0.02 1.90 37.71 0.33 q F → || W = 61.95 → || W = 6.91 → ||∆ W = 3.57 q F q q F q F 表7: U (cid:62)W V (cid:62) 其中U和V是(1) → W,(2) W 或 (3) 随机矩阵的左/右上方正 R 单向量q方向.
<a id="S0227"></a> 重量矩阵取自q q 第48层GPT-3.
<a id="S0228"></a> 我们从表7中得出若干结论。
<a id="S0229"></a> 首先,与随机矩阵相比,QQW与W的关联性更强,表明QQW放大了已经存在于W中的一些特性.
<a id="S0230"></a> 第二,QQW不重复W的顶端单向,只放大了W中未强调的方向.
<a id="S0231"></a> 第三,放大系数相当大:21.5 ≈ 6.91/0.32 r= 4.
<a id="S0232"></a> 见H.4节,r = 64为什么放大系数较小。
<a id="S0233"></a> 我们还在H.3节中提供可视化,说明在我们包括来自W.q.的更上等单数方向时,相关性是如何变化的。 这表明,低级适应矩阵可能扩大在一般培训前模式中已经学到但未得到强调的具体下游任务的重要特征。 8 从硬件和为不同任务主办独立实例的存储/交换费用来看,结业和今后的工作精细调整了巨大的语言模型,费用高昂。
<a id="S0234"></a> 我们建议采用LORA这一高效的适应战略,既不引入推断延迟,也不减少输入序列长度,同时保留高模型质量。
<a id="S0235"></a> 重要的是,它允许在作为服务部署时通过共享绝大多数模型参数快速进行任务转换。
<a id="S0236"></a> 虽然我们专注于变形器语言模型,但所拟议的原理一般适用于有密集地层的任何神经网络.
<a id="S0237"></a> 未来作品有许多方向. (1) LORA可以与其他高效的适应方法相结合,有可能提供正交改进。 2) 微调或LORA背后的机制还远不清楚 — — 在前期训练中学到的特征是如何转化成在下游任务上做得好的?
<a id="S0238"></a> 我们认为,LORA 使得它更容易 回答这一点 而不是完全的精细。
Page 13
<a id="S0239"></a> 调音. 3)我们主要依靠休克来选择将LORA应用到的重量矩阵.
<a id="S0240"></a> 有没有更多的原则性方法来做到这一点? 4)最后,QQW的军衔不足也暗示了W也可以是军衔不足,这也可能成为未来作品的灵感来源.
<a id="S0241"></a> 参考Armen Aghajanyan、Luke Zettlemoyer和索纳尔·古普塔。
<a id="S0242"></a> Intrinsic 维度解释语言模型精致-通取的效果. arXiv:2012.13255 [cs],2020年12月.
<a id="S0243"></a> ResNet能有效学习什么?
<a id="S0244"></a> 全文见http://arxiv.org/abs/1905.10337。
<a id="S0245"></a> 后向特征校正:深层学习如何进行深层学习. arXiv预印版arXiv:2001.04413,2020a.
<a id="S0246"></a> 特性净化:对抗性训练如何进行强有力的深入学习。 arXiv preprint arXiv:2005.10190, 2020b. (中文(简体) ).
<a id="S0247"></a> 泽相阿伦-朱相会; 元zh李相会; 赵相会. 通过过度参数化进行深度学习的趋同理论.
<a id="S0248"></a> 全文见http://arxiv.org/abs/1811.03962.
<a id="S0249"></a> Jimmy Lei Ba, Jamie Ryan Kiros, 和杰弗里·E.
<a id="S0250"></a> Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafula Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. 维基语录链接 维基语录链接 维基语录链接 维基语录链接 维基文库中相关的条目: 维基语录链接 维基语录链接 维基文库中相关的条目: 维基语录 维基语录 维基语录链接: 维基文库尔语录 维基文库尔语录 维基文库尔语录 维文库尔语录 维文库尔语库尔语库尔语库 维文库尔语库尔语库尔语库尔语
<a id="S0251"></a> 齐格勒,杰弗里·吴,克列门斯·温特,克里斯托弗·黑森,马克·陈,埃里克·西格勒,马特乌斯·利特温,斯科特·格雷,本杰明·切斯,杰克·克拉克,克里斯托弗·伯纳,萨姆·麦坎德利希,阿莱克·拉德福德,伊利亚·苏特斯克维尔,和达里奥·阿莫代.
<a id="S0252"></a> 语言模型是"少有"的学习者. arXiv:2005.14165 [cs],2020年7月.
<a id="S0253"></a> 建丰丙辰,伊曼努埃尔·J·坎德斯,同为沈祖伟. 矩阵完成的单值阈值算法 。
<a id="S0254"></a> SIAM杂志关于优化,20(4):1956-1982,2010.
<a id="S0255"></a> 丹尼尔·塞尔,莫娜·迪亚布,埃内科·阿吉尔,伊尼戈·洛佩斯-加兹皮奥和露西娅·斯佩克亚.
<a id="S0256"></a> Semeval-2017任务一:语义文字相似多语种和跨语言重点评价.
<a id="S0257"></a> 第11届语义学评价国际研讨会纪要(SemEval-2017),2017. doi:10.18653/v1/s17-2001.
<a id="S0258"></a> URL: http://dx.doi.org/10.18653/v1/S17-2001. URL.
<a id="S0259"></a> 罗南·科洛伯特和杰森·韦斯顿. 自然语言处理的统一架构:具有多任务学习的深层神经网络.
<a id="S0260"></a> 《第25届机器学习国际会议记录》,ICML ' 08,第160-167页,纽约,美国纽约,2008年7月。
<a id="S0261"></a> ISBN 978-1-60558-205-4. doi:10.1145/1390156.1390177 (中文(简体) ).
<a id="S0262"></a> URL https://doi.org/10.1145/1390156.1390177 (中文(简体) ).
<a id="S0263"></a> 米莎·德尼尔(英语:Misha Denil),巴巴克·沙基比(英语:Babak Shakibi),洛朗·丁(英语:Laurent Dinh),马克·奥雷利奥·兰扎托(英语:Marc-Aurelio Ranzato)和南多·德·弗雷塔斯(英语:Nando de Freitas).
<a id="S0264"></a> 深度学习的预测参数,2014年.
<a id="S0265"></a> 雅各布·德夫林(Jacob Devlin),明-魏相,克通·李(Kenton Lee)和克丽斯蒂娜·图塔诺娃.
<a id="S0266"></a> Bert:深双向变压器前期训练为语言理解,2019a.
<a id="S0267"></a> 雅各布·德夫林(Jacob Devlin),明-魏相,克通·李(Kenton Lee)和克丽斯蒂娜·图塔诺娃.
<a id="S0268"></a> BERT:深双向变形器为语言理解预训. arXiv:181.04805 [cs],2019年5月b.
<a id="S0269"></a> URL: http://arxiv.org/abs/1810.04805. arXiv:1810.04805.
<a id="S0270"></a> 自动地构建出一系列的感人语句.
<a id="S0271"></a> 2005年第三次国际审校讲习班记录。
<a id="S0272"></a> 克莱尔·花园特(Claire Gardent),安娜斯塔西亚·希莫里娜(Anastasia Shimorina),沙希·纳拉扬(Shashi Narayan)和劳拉·佩雷斯-贝尔特拉奇尼(Laura Perez-Beltrachini).
<a id="S0273"></a> webnlg挑战:从rdf数据生成文本.
<a id="S0274"></a> 《第十届自然语言生成国际会议记录》,第124-133页,2017年。
Page 14
<a id="S0275"></a> Behrooz Ghorbani, Song Mei, Theodor Misiakiewicz, 和安德烈亚·蒙塔纳里.
<a id="S0276"></a> 神经网络何时超过内核方法? arXiv preprint arXiv:2006.13409, 2020 (英语).
<a id="S0277"></a> 博格丹·格利瓦,伊花娜·莫克霍尔,梅西杰·比塞克,和阿莱克桑德·沃尔.
<a id="S0278"></a> Samsumecurity:一个人性化附加说明的对话数据集,用于抽象的概括.
<a id="S0279"></a> 拉尔斯·格拉斯迪克,丹尼尔·克雷斯纳,和克莉丝汀·托布勒. 低档收视率近似技术文献调查.
<a id="S0280"></a> Grassmann 歧见分析:关于亚空间学习的统一观点.
<a id="S0281"></a> URL https://doi.org/10.1145/1390156. 1390204 (英语).
<a id="S0282"></a> 卡伦·哈姆巴祖米扬,克兰特·哈恰特里安和乔纳森·梅.
<a id="S0283"></a> WARP: Word-level Adversarial Reprogramming. arXiv:2101.00121 [cs],2020年12月.
<a id="S0284"></a> URL: http://arxiv.org/abs/2101.00121. arXiv:2101.00121.
<a id="S0285"></a> 彭城贺,刘晓东;建丰高;魏祖陈.
<a id="S0286"></a> Deberta:解码-增强的伯特 有分散的注意力,2021年.
<a id="S0287"></a> 尼尔·胡尔斯比,安德烈·朱尔吉乌,斯坦尼斯瓦夫·贾斯特泽布斯基,布鲁纳·莫尔龙,昆廷·德·拉鲁西尔赫,安德烈亚·盖斯蒙多,莫娜·阿塔里扬,和西尔万·盖利.
<a id="S0288"></a> NLP. arXiv:1902.00751 [cs, stat],2019年6月. Parameter-Efficial Transfer Language for NLP. arXiv:1902.00751 [cs, stat].
<a id="S0289"></a> 马克斯·贾德伯格,安德里亚·维达尔迪,和安德鲁·齐瑟曼.
<a id="S0290"></a> 以低级扩能加快革命神经网络建设. arXiv preprint arXiv:1405.3866, 2014 (英语).
<a id="S0291"></a> 米哈伊尔·克达克(Mikhail Khodak),尼尔·特宁霍尔茨(Neil Tenenholtz),莱斯特·麦基(Lester Mackey)和尼科洛"富西".
<a id="S0292"></a> 2021年因子化神经地层初始化和规范化.
<a id="S0293"></a> 亚当:2017年花样优化的一种方法.
<a id="S0294"></a> 德米特里·莱皮克欣,许克俊·李克用,许元忠,陈德豪,鄂尔罕·费拉特,黄延平,马克西姆·克里克恩,诺姆·沙泽尔,陈志芬.
<a id="S0295"></a> Gshard:用有条件的计算和自动的硬化来放大巨型模型, 2020.
<a id="S0296"></a> 布莱恩·莱斯特(Brian Lester),拉米·阿尔-勒福(Rami Al-Rfou),和诺亚·康斯坦特(Noah Constant).
<a id="S0297"></a> (原始内容存档于2017-10-29) (中文(简体) ). The Political Power for Parameter-Efficient Point Tuning. arXiv:2104.08691 [cs], 2021年4月.
<a id="S0298"></a> URL: http://arxiv.org/abs/2104.08691. arXiv: 2104.08691. (中文(简体) ).
<a id="S0299"></a> 李春由,海拉德·法克豪尔,罗珊·刘和杰森·约辛斯基.
<a id="S0300"></a> 测量客观地貌的内在维度. arXiv:1804.08838 [cs, stat], 2018年4月a.
<a id="S0301"></a> URL http://arxiv.org/abs/1804.08838. arXiv:1804.08838.
<a id="S0302"></a> 前缀-图宁:优化连续提示以促一代. arXiv:2101.00190 [cs],2021年1月.
<a id="S0303"></a> 通过结构化数据的分层梯度下降来学习超参数神经网络.
<a id="S0304"></a> 2018年神经信息处理系统预科.
<a id="S0305"></a> 李元志; 梁英玉; 安德烈·里斯特斯基.
<a id="S0306"></a> 通过交替最小化,保证回收加权低等近似值。
<a id="S0307"></a> 机器学习国际会议,第2358至2367页。
<a id="S0308"></a> 元子李从珂;滕玉马;洪阳张从 Zhang.
<a id="S0309"></a> 超参数化基质感测和神经网络中的算法规范化,有四维活化.
<a id="S0310"></a> 《学习理论会议》,第2-47页。
<a id="S0311"></a> 赵江林; 安德里亚·马多托; 帕斯克多·冯.
<a id="S0312"></a> 通过参数高效转移学习,探索多功能基因语言模式.
<a id="S0313"></a> 计算语言学协会的调查结果:EMNLP 2020, 第441-459页, Online, 2020年11月.
<a id="S0314"></a> 计算语言学协会. doi:10.18653/v1/2020. finders-emnlp.41.
<a id="S0315"></a> URL https://aclanthology. (原始内容存档于2018-09-29). org/2020. 调查-emnlp.41.
Page 15
<a id="S0316"></a> 萧刘,延安郑,郑克道,明定,于杰等入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关出关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关入关
<a id="S0317"></a> GPT understands, Too. arXiv:2103.10385 [cs],2021年3月.
<a id="S0318"></a> URL http://arxiv.org/abs/21031.0385. arXiv:21031.0385 (中文(简体) ).
<a id="S0319"></a> 刘燕汉,弥勒·奥特,纳南·高雅尔,静菲·杜,万达·乔希,丹奇·陈,欧梅尔·李维,迈克·刘易斯,卢克·泽特尔莫耶,和维塞林·斯托亚诺夫.
<a id="S0320"></a> 罗伯塔:2019年强力优化伯特预训方式.
<a id="S0321"></a> 脱钩后体重衰减规范化. arXiv预印 arXiv:1711.05101, 2017.
<a id="S0322"></a> 2019年脱钩后体重衰减规范化.
<a id="S0323"></a> 拉贝赫·卡里米·马哈巴迪,詹姆斯·亨德森,和塞巴斯蒂安·鲁德.
<a id="S0324"></a> 收缩器:高效低级超复杂适配器层,2021.
<a id="S0325"></a> 林永南,德拉戈米尔·拉德夫,鲁伊·张,阿姆里特·劳,阿比南德·西瓦普拉萨德,奇亚春·希耶,相克·唐,阿迪特·维亚斯,内哈·韦尔马,普拉纳夫·克里希纳等.
<a id="S0326"></a> 达特:开放域结构化数据记录到文本生成. arXiv preprint arXiv: 2007.02871, 2020 (英语).
<a id="S0327"></a> 杰卡捷琳娜·诺维科娃(英语:Jekaterina Novikova),翁德切雷克·杜斯切克(英语:Ondˇrej Dusˇek)和维莱娜·里瑟(英语:Verena Rieser).
<a id="S0328"></a> e2e数据集:端到端生成的新挑战. arXiv预印 arXiv:1706.09254, 2017.
<a id="S0329"></a> 萨梅特·奥伊马克(Samet Oymak),扎兰·法比安(Zalan Fabian),明琴·李(Mingchen Li)和马赫迪·索尔塔诺克塔比(Mahdi Soltanolkotabi).
<a id="S0330"></a> 利用雅可比亚低等结构,为神经网络提供通俗化保障. arXiv预印版 arXiv:1906.05392, 2019.
<a id="S0331"></a> 乔纳斯·菲佛,艾斯瓦里亚·卡马特,安德烈亚斯·鲁克勒克,克林亨·乔和伊莉娜·格列维奇.
<a id="S0332"></a> 适应力化:转移学习的无损任务构成,2021.
<a id="S0333"></a> 由丹尼尔·波维,高丰成,王一明,克力,海南徐能,马哈萨·亚尔莫哈马迪,桑杰耶夫·胡丹普.
<a id="S0334"></a> 深神经网络的半正弦低等基质分化.
<a id="S0335"></a> 阿莱克·拉德福德,卡尔蒂克·纳拉西姆汉,蒂姆·萨利曼斯和伊利亚·苏特斯克韦.
<a id="S0336"></a> 改进对语言的理解,由Generative Pre-Training编写。
<a id="S0337"></a> 阿莱克·拉德福德,杰弗里·吴,雷园童,大卫·卢安,达里奥·阿莫代,和伊利亚·苏特斯克韦.
<a id="S0338"></a> 语言模型是无监督的多任务学习者. pp. 24, b.
<a id="S0339"></a> Pranav Rajpurkar, Robin Jia, 和Percy Liang. (原始内容存档于2019-09-21).
<a id="S0340"></a> 了解你所不知道的:无法回答的问题。
<a id="S0341"></a> 西尔维斯特雷-阿尔维塞·雷布菲,哈坎·比伦和安德烈亚·维达尔迪.
<a id="S0342"></a> 以剩余适配器学习多视觉域. arXiv:1705.08045 [cs, stat], 2017年11月.
<a id="S0343"></a> URL http://arxiv.org/abs/1705.08045. arXiv:1705.08045.
<a id="S0344"></a> 安德烈亚斯·鲁·克勒 格雷高·盖格尔 马克斯·格洛克纳 蒂尔曼·贝克 乔纳斯·菲弗 尼尔斯·里默斯 和伊莉娜·格列维奇
<a id="S0345"></a> 适配器投放 : 关于变压器中适配器的效率, 2020.
<a id="S0346"></a> 塔拉·恩·赛纳斯(Tara N Sainath),布赖恩·金斯伯里(Brian Kingsbury),维卡斯·辛德瓦尼(Vikas Sindhwani),埃布鲁·阿里索伊(Ebru Arisoy)和布瓦娜·拉马布哈德兰(Bhuvana Ramabhadran).
<a id="S0347"></a> 以高维度输出目标进行深神经网络训练的低等矩阵分级.
<a id="S0348"></a> 2013年,IEEE关于声学,语音和信号处理的国际会议,第6655–6659页.
<a id="S0349"></a> 穆罕默德·肖伊比,莫斯托法·帕特瓦里,劳尔·普里,帕特里克·勒格雷斯利,贾里德·卡斯珀和布莱恩·卡坦扎罗.
<a id="S0350"></a> 威震天-lm:使用模型并行论来训练数十亿参数语言模型, 2020.
<a id="S0351"></a> 理查德·索彻(Richard Socher),亚历克斯·佩雷利金(Alex Perelygin),让·吴(Jean Wu),杰森·楚昂(Jason Chuang),克里斯托弗·德.
<a id="S0352"></a> 曼宁,安德鲁·恩克, 和克里斯多弗·波茨.
<a id="S0353"></a> 语义成分的回溯性深层模型 比情感树库。
<a id="S0354"></a> 《2013年自然语言处理经验方法会议纪要》,第1631至1642页,美国华盛顿西雅图,2013年10月。
<a id="S0355"></a> 计算语言学协会.
<a id="S0356"></a> URL https://aclanthology.org/D13-1170. 15 (中文(简体) ).
Page 16
<a id="S0357"></a> 阿希什·瓦斯瓦尼,诺姆·沙泽尔,尼基·帕尔马尔,雅克布·乌斯克克赖特,利翁·琼斯,艾丹·恩·戈麦斯,克萨斯·凯泽和伊利亚·波罗舒欣.
<a id="S0358"></a> 第31届神经信息处理系统国际会议记录,第6000-6010页,2017年。
<a id="S0359"></a> 亚历克斯·王,阿曼普雷特·辛格,朱利安·迈克尔,费利克斯·希尔,奥梅尔·李维,和塞缪尔·R.
<a id="S0360"></a> Glue:自然语言理解的多任务基准和分析平台,2019.
<a id="S0361"></a> Alex Wang, Yada Pruksachatkun, Nikita Nangia, 阿曼普雷特·辛格, 朱利安·迈克尔, 费利克斯·希尔, 奥梅尔·利维,和塞缪尔·R.
<a id="S0362"></a> Superglue:通用语言理解系统粘接基准,2020年.
<a id="S0363"></a> 亚历克斯·沃斯塔特,阿曼普雷特·辛格和塞缪尔·罗·鲍曼.
<a id="S0364"></a> 神经网络可接受性判断. arXiv preprint arXiv:1805.12471, 2018 (英语).
<a id="S0365"></a> 阿迪娜·威廉姆斯,尼基塔·南吉亚,和塞缪尔·鲍曼. 通过推论理解判决的广覆盖质疑书。
<a id="S0366"></a> 计算语言学协会北美分会2018年会议纪要:人文语言技术 第1卷(长篇论文),第1112–1122页,路易斯安那新奥尔良,2018年6月.
<a id="S0367"></a> 计算语言学协会. doi:10.18653/v1/N18-1101.
<a id="S0368"></a> URL https://www.aclweb.org/anthology/N18-1101. 页面存档备份,存于互联网档案馆.
<a id="S0369"></a> 托马斯·沃尔夫,莱桑德·德布特,维克多·桑赫,朱利安·乔蒙德,克莱门特·德兰格,安东尼·莫伊,皮尔里克·西斯塔克,蒂姆·劳特,雷米·卢夫,摩根·丰托维茨,乔·戴维森,萨姆·施莱费尔,帕特里克·冯·普拉滕,克拉拉·马,雅辛·杰尼特,朱利安·普鲁,坎文·许,特文·勒·斯考,西尔万·古格,玛丽亚玛·德拉姆,昆廷·莱斯特和亚历山大·米.
<a id="S0370"></a> 变相器:最先进的自然语言处理.
<a id="S0371"></a> 《2020年自然语言处理经验方法会议纪要:系统演示》,第38-45页,Online,2020年10月。
<a id="S0372"></a> 计算语言学协会.
<a id="S0373"></a> URL https://www.aclweb.org/anthology/2020.emnlp-demos.6. 互联网档案馆的存檔,存档日期2013-12-21.
<a id="S0374"></a> (原始内容存档于2017-10-11). Feature Learning in Infinite-Width Neural Networks. arXiv:2011.14522 [cond-mat],2021年5月.
<a id="S0375"></a> URL: http://arxiv.org/abs/2011.14522. arXiv: 2011.14522. 互联网档案馆的存檔,存档日期2011-12-22.
<a id="S0376"></a> 埃拉德·本·扎肯,肖利·拉夫福格尔和约夫·戈德伯格.
<a id="S0377"></a> Bitfit:2021年以变压器为主的口罩语言模型的简单参数高效微调.
<a id="S0378"></a> 于章,相克波尔·楚昂苏瓦尼奇,和詹姆斯·格拉斯.
<a id="S0379"></a> 利用低等基质分泌法提取出深层神经网络瓶颈特征.
<a id="S0380"></a> 2014年,IEEE关于声学,语音和信号处理的国际会议(ICASSP),第185–189页.
<a id="S0381"></a> 低等加对角适应深层神经网络.
<a id="S0382"></a> 2016年,IEEE声学,语音和信号处理国际会议(ICASP),第5005–5009页.
<a id="S0383"></a> 维克多·钟,凯明·西翁和理查德·索彻.
<a id="S0384"></a> Seq2sql:利用强化学习从自然语言中生成结构化的查询.
<a id="S0385"></a> URL http://arxiv.org/abs/1709.00103 (中文(简体) ). 大型语言模型仍然需要Parameter更新 很少的学习,或者说即时工程, 是非常有利的, 当我们只有几个训练样本。
<a id="S0386"></a> 然而,在实践中,我们往往可以负担为注重业绩的应用提供几千个或更多的培训实例。
<a id="S0387"></a> 如表8所显示,微调大大改进了模型的性能,与大小数据集的几发学习相比。
<a id="S0388"></a> 我们从GPT-3的论文(Brown等,2020年)中取出GPT-3对RTE的几发结果.
<a id="S0389"></a> 对于MNLI配对,我们使用每班两次演示和总共六个内文实例. 16个
Page 17
<a id="S0390"></a> (acc./%) GPT-3 少 -- -- 40.6 69.0 GPT-3 精细 -- -- 89.5 85.4 表8:微调显著地超过了GPT-3上的几发学习(Brown等,2020年)。 B. 由适应者实验室吸收的资金 适配层是按顺序添加到预训模型中的外部模块,而我们的建议"LORA"则可以看作是平行添加的外部模块.
<a id="S0391"></a> 因此,除基准模型外,必须计算适配层,从而不可避免地增加延迟。
<a id="S0392"></a> 虽然如Ru'cle'等(2020年)所指出,但当模型批量大小和/或序列长度足以充分利用硬件平行性时,适配层引入的耐久性可以被减轻.
<a id="S0393"></a> 我们通过对GPT-2介质的类似延缓性研究确认了他们的观察,并指出,有些情况,特别是网上推断,批量规模小,增加的延缓性可能很大。
<a id="S0394"></a> 我们通过平均100多起审判来衡量NVIDIA Quadro RTX8000号卫星的一次前行间隔。
<a id="S0395"></a> 我们改变输入批量大小,序列长度,以及适配器瓶颈维度r.
<a id="S0396"></a> 我们测试了两种适配器设计:由Houlsby等人(2019年)出品,我们称之为适配器H;由Lin等人(2020年)出品,我们称之为适配器L.
<a id="S0397"></a> 有关设计的详细情况见第5.1节。
<a id="S0398"></a> 与图5.35 30 20 15 10 5 H r retpadA 0 01 001 052 Seq Len = 128 Seq Len = 512 1 2 4 8 16 32 批量大小 L r retpadA 0 01 001 052 1 4 4 16 批量大小 图5: 与不适应分量(r = 0)基线相比,推论纬度慢化的百分比。
<a id="S0399"></a> 上行显示AdapterH和下行AdapterL的结果.
<a id="S0400"></a> 更大规模的批量尺寸和序列长度有助于减轻延迟,但在在线短序列长的情景中,减速率可以高达30%以上.
<a id="S0401"></a> 我们调整了色彩图,以提高能见度。 C DATASET DETAILS GLUE Bridge是一大批自然语言理解任务.
<a id="S0402"></a> 它包括MNLI(推断,Williams等(2018年)),SST-2(sentition analysis, Socher等(2013年)),MRPC(短语检测,Dolan和Brockett(2005年)),CoLA(语言可接受性,Warstadt等(2018年)),QNLI(推断,Rajpurkar等(2018年)),QQP8(问答),RTE(推断),8https://quoradata.quora.com/First-Quora-Dataset-Relelease-Pairs 17
Page 18
<a id="S0403"></a> 和STS-B(文本相似性,Cer等人(2017年))。
<a id="S0404"></a> 广范围使得GLUE基准成为评价RoBERTa和DeBERTa等NLU模型的标准度量.
<a id="S0405"></a> 个人数据集是根据不同的许可发放的。
<a id="S0406"></a> 维基语录链接:名人名言 维基语录链接:名人名言 维基语录链接:名人名言 维基语录链接:名人名言 - 文学作品 - 谚语 - 谚语 - 谚语 - 谚语 - 谚语 - 谚语 - 谚语 - 谚语 - 谚语 - 谚语
<a id="S0407"></a> 任务是从自然语言问题和表 schemata 生成 SQL 查询.
<a id="S0408"></a> 我们将上下文编码为x={表图,查询}和目标为y={SQL}。
<a id="S0409"></a> 数据集在 BSD 3- Clause 许可证下发布.
<a id="S0410"></a> SAMSum在Gliwa等人(2019年)中被引入,包含14,732/819个培训/测试实例.
<a id="S0411"></a> 它由两个人之间的分阶段聊天对话以及由语言学家所写的相应抽象摘要组成.
<a id="S0412"></a> 我们把上下文编码为“\n” ,然后是“\nn”, 目标为y={摘要}。
<a id="S0413"></a> 该数据集以非商业许可证发布: Creative Communitys BY-NC-ND 4.0.
<a id="S0414"></a> E2E NLG Challenge最初被诺维科娃等(2017年)引入,作为培训端到端,由数据驱动的自然语言生成系统的数据集,并被普遍用于数据到文本的评价.
<a id="S0415"></a> E2E数据集包括大约42 000个培训、4 600个验证和4 600个来自餐厅域的测试实例。
<a id="S0416"></a> 用作输入的每个源表都可以有多个参考.
<a id="S0417"></a> 每个样本输入(x,y)由槽值对的序列组成,并附有相应的自然语言参考文本.
<a id="S0418"></a> 该数据集在Creative Communitys BY-NC-SA 4.0下发布.
<a id="S0419"></a> DART是一款由Nan等人(2020年)所描述的开放域数据到文本数据集.
<a id="S0420"></a> DART 投入结构为ETITY的序列-关系-ETITY 三相.
<a id="S0421"></a> 与E2E相比,DART总共有82K个实例,是一个大得多更复杂的数据对文本任务.
<a id="S0422"></a> 数据集以麻省理工学院许可发布.
<a id="S0423"></a> WebNLG是另一个常用的用于数据到文本评价的数据集(Gardent等,2017年).
<a id="S0424"></a> 在WebNLG中共有22K个实例,包括14个不同的类别,其中9个是在培训期间看到的。
<a id="S0425"></a> 由于14个总类别中有5个在培训期间没有出现,但在测试组中有代表,评价通常按“见”类别(S)、“未见”类别(U)和“所有”类别(A)分类。
<a id="S0426"></a> 每个输入例都由SUBJECT-ProPERTY-OBJECT三相的序列来代表.
<a id="S0427"></a> 该数据集在Creative Communitys BY-NC-SA 4.0下发布. 警告D.1 罗伯特 我们用阿达姆W来训练 并有线性学习速率衰减计划
<a id="S0428"></a> 我们扫射学习速度 训练时代的次数 以及LORA的批量规模
<a id="S0429"></a> 继刘等(2019年)后,在适应MRPC,RTE,和STS-B时,将LORA模块初始化为我们最好的MNLI检查站,而不是通常的初始化;经过预训的模型会对所有任务保持被冻结.
<a id="S0430"></a> 我们报告5个随机种子的中位数;每次运行的结果取自最佳时代。
<a id="S0431"></a> 为了与Houlsby等人(2019年)和Pfeiffer等人(2021年)的设置进行公平比较,我们把模型序列长度限制为128个并对所有任务使用固定批量尺寸.
<a id="S0432"></a> 重要的是,我们在适应MRPC,RTE和STS-B时,开始使用预先训练的RoBERTa大模型,而不是已经适应了MNLI的模型.
<a id="S0433"></a> 带有此限制设置的运行标记为 Q.
<a id="S0434"></a> 参见表9中我们运行中使用的超参数。 D.2 贝塔 我们再次使用 AdamW 进行线性学习 速率衰减表。
<a id="S0435"></a> 跟着He等人(2021年),我们调取学习率,退学概率,取暖步骤,分批量大小.
<a id="S0436"></a> 我们使用(He等人,2021年)所用的相同的模型序列长度来保持我们的比较公平.
<a id="S0437"></a> 继He等 (2021年)后,我们在适应MRPC,RTE,和STS-B时,将LORA模块初始化为我们最好的MNLI检查站,而不是通常的初始化;经过预先训练的模型会对所有任务保持冻结.
<a id="S0438"></a> 我们报告5个随机种子的中位数;每次运行的结果取自最佳时代。
<a id="S0439"></a> 参见表10.18中我们运行中使用的超参数。
Page 19
<a id="S0440"></a> Method Dataset MNLI SST-2 MRPC CoLA QQP STS-B 优化器 AdamW Warmup Batch 比例 0.06 LR 排程线性批量尺寸 16 16 32 16 # Epochs 30 60 30 80 25 80 40 RoBERTa 基础学习率 5E-04 5E-04 4 E-04 4 E-04 5 E-04 5 E-04 5 E-04 5 E-04 4 E-04 LoRA LoRA Config. r = 8 q v LoRA α 8 Max Seq.
<a id="S0441"></a> 取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取
<a id="S0442"></a> 取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取
<a id="S0443"></a> 取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取回取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取
<a id="S0444"></a> Len. 128 批量大小 32 RoBERTA 大号 # Epochs 5 20 20 20 20 10 20 20 AdptP (0.8M)† 学习速率 3E-04 3E-04 3E-04 3E-04 3E-04 3E-04 3E-04 Bottleneck r 16 Max Seq.
<a id="S0445"></a> 取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取回取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取
<a id="S0446"></a> Len. 128 批量尺寸 32 RoBERTA 大号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号号 学习率 3E-04 3E-04 3E-04 3E-04 3E-04 3E-04 3E-04 3E-04 Bottleneck r 8 Max Seq.
<a id="S0447"></a> Len. 128 表9:我们在GLUE基准上为RoBERTa使用的超参数. D.3 GPT-2 导弹 我们使用AdamW(Loshchilov & Hutter, 2017)来训练我们所有的GPT-2型号,有5个纪元的线性学习速度表.
<a id="S0448"></a> 我们用李同良(2021年)所描述的批量大小,学习率,和梁搜索分量.
<a id="S0449"></a> 因此,我们还为LORA调制上述超参数。
<a id="S0450"></a> 我们报告3个以上随机种子的平均值;每次播种的结果取自最佳时代。
<a id="S0451"></a> GPT-2中用于LORA的超参数见表11。
<a id="S0452"></a> 用于其他基线的,见李克用(2021年). D.4 GPT-3 对于所有GPT-3实验,我们使用AdamW(Loshchilov & Hutter, 2017)对2个纪元进行训练,批量大小为128个样品,重量衰变系数为0.1.
Page 20
<a id="S0453"></a> Method Dataset MNLI SST-2 MRPC CoLA QQP STS-B 优化器 AdamW Warmup 比率 0.1 LR 排程线性批量尺寸 8 8 32 4 8 4 # Epochs 5 16 30 8 11 10 DeBERTa XXL 学习率 1E-04 6E-05 2E-04 1E-04 2E-04 LoRA 减重 00.01 0.01 0.01 0.01 0.1 CLS 0.1 退学率 0.1 0.2 0.2 0.2 0ra config. r = 8 q v LoRA α 8 Max Seq.
<a id="S0454"></a> Len. 256 128 64 512 320 128 表10:关于GLUE基准所列任务的DeBERTa XXL超参数。
<a id="S0455"></a> 数据集 E2E WebNLG DART 训练优化 AdamW W Wight Derfect 0.01 0.0 Dropout Prob 0.1 0.0 批量大小 8 # Epoch 5 Warmup Steps 500 学习速率 线性标签平滑 0.1 0.0 学习速率 0.0002 适应r = r = 4 q v LoRA α 32 Beam 10 长刑 0.9 0.8 无重复 ngm 尺寸 4 表11:E2E上GPT-2 LoRA的超参数,WebNLG和DART.
<a id="S0456"></a> WikisQL (Zhong等,2017年),768代表MNLI (Williams等,2018年),2048代表SAMSum (Gliwa等,2019年).
<a id="S0457"></a> 我们调校所有方法数据集组合的学习率。
<a id="S0458"></a> 关于所用超参数的更详细情况,见D.4节。
<a id="S0459"></a> 对于前缀嵌入调子,我们发现最佳的l和l p i分别是256和8,共计3.2M可列车参数.
<a id="S0460"></a> 我们使用l=8和l=8来进行pi前缀层调制,并配有20.2M可列车参数,以获得总体最佳性能.
<a id="S0461"></a> 我们为LORA提出两个参数预算:4.7M(r = r = 1或 r = 2)和37.7M(r = r = 8 q v v q v 或 r = r = r = 2.
<a id="S0462"></a> 我们报告每个运行中最好的验证性能。
<a id="S0463"></a> 我们的GPT-3实验中使用的训练q k v 超参数表见表12。 E 将LORA与PrefIX TUNING LORA结合,可以自然地与现有的前缀法结合.
<a id="S0464"></a> 在本节中,我们评价了LORA和WikisQL和MNLI上前缀调制的两种组合.
<a id="S0465"></a> LoRA+PrefixEmbed (LORA+PE) 将LORA与前缀嵌入调制结合,在其中插入了l+l的特殊符号,其嵌入被作为可被训练参数处理.
<a id="S0466"></a> 更多关于前缀 i 嵌入调音,请参见 第 5.1 节.
<a id="S0467"></a> LoRA+PrefixLayer (LORA+PL) 将LORA与前缀层调制结合.
<a id="S0468"></a> 我们还插入了l + l p i 特殊标志;然而,与其让这些标志的隐藏表示演化出nat-20
Page 21
<a id="S0469"></a> 超参数 Fine-Tune PreEmbed PreLayer BitFit AdapterH LoRA Batchizer AdamW Batch System 128 # Epoch 2 Warmup Tokens 250000 LR 排程线性学习率 5.00E-06 5.00E-04 1.00E-04 1.6E-03 1.00E-04 表12:不同GPT-3 适应方法所使用的训练超参数.
<a id="S0470"></a> 在调试学习率后,我们对所有数据集使用相同的超参数。 在每一个变形器块后,我们用输入不可知向量替换它们。
<a id="S0471"></a> 因此,嵌入式和随后的变形器块活化都被视为可受训练参数.
<a id="S0472"></a> 更多关于前缀层调音,请参见第5.1节.
<a id="S0473"></a> 在表15中,我们在WikisQL和MultiNLI上显示了LORA+PE和LORA+PL的评价结果.
<a id="S0474"></a> 首先,LORA+PE在WikiSQL上的LORA和前缀-嵌入式调取效果都明显高于前缀-嵌入式调取效果,这表明LORA在前缀-嵌入式调取效果上有些正交.
<a id="S0475"></a> 在MultiNLI上,LORA+PE的组合性能并不比LORA好,可能是因为LORA自己已经实现了与人类基线相仿的性能.
<a id="S0476"></a> 第二,我们注意到,LORA+PL的性能比LORA略差,甚至更有可训练参数。
<a id="S0477"></a> 我们将此归因于前缀层调子对学习率的选择非常敏感,因此在LORA+PL中,LORA分量的优化难度更大. F.1 关于GPT-2的补充警告 我们还在李同良(2021年)成立后重复了DART(Nan等,2020年)和WebNLG(Gardent等,2017年)的实验.
<a id="S0478"></a> 与我们关于E2E NLG Challenge的结果相似,该结果在第5节中报告,由于可训练参数的数量相同,LORA的性能优于或至少是采用基于前缀的方法。
<a id="S0479"></a> 方法#可训练DART参数 BLEU↑ MET↑ TER↓ GPT-2 中细-Tune 354M 46.2 0.39 0.36 适配器L 037M 42.4 0.36 0.38 适配器L 11M 45.2 0.38 0.36 FTTop2 24M 41.0 0.34 0.56 PrefLayer 03.5M 46.4 0.38 0.36 LoRA 03.5M 47.1 GPT-2 大细-Tune 774M 47.0 0 0.39 0.46 适配器L 0.88M 45.7 0.38 0.46 ±1 适配器L 23M 47.1 0.39 0.45 ±1 PrefLayer 0.77M 46.7 0.38 04.5 0.45 LoRA 0.77M 47.5 0.35 0.45 ±1 表13:DART上具有不同适应方法的GPT-2.
<a id="S0480"></a> 对所有适应方法而言,MET和TER的差异还不到0.01。 21国
Page 22
<a id="S0481"></a> Weather WebNLG BLEUQQ METQ TERX TERX U S A U S A (354M) 27.7 64.2 46.5.30.45.38.76.33.53 适配器L (0.37M) 45.1 54.5 50.2.36.39.38.43 适配器L (11M) 48.3 60.4 54.9.38.43.45.39 FTTOP2 (24M) 18.9 53.6 36.0.23.38.31.99.49.72 适配器 (0.35M) 45.6 62.9 55.1.38.38.38.49.39.39.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.39.40.40.40.39.40.40.40.40.40.39.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40.40. 表14:WebNLG上采用不同适应方法的GPT-2.
<a id="S0482"></a> 在我们进行的所有实验中, MET 和 TER 的相差小于 0.01 。 “U”表示看不见的类别,“S”表示可见的类别,“A”表示WebNLG测试集中的所有类别。 F.2 关于GPT-3的补充警告 我们对GPT-3进行额外运行,采用不同的适应方法,见表15。
<a id="S0483"></a> 重点是确定性能与可训练参数数量之间的取舍。 F.3 低度-低度区域 评估低数据制度中不同适应方针的绩效。 我们随机抽取100,1k和10k训练实例 从MNLI的全部训练集中形成低数据MNLI-n任务.
<a id="S0484"></a> 在表16中,我们显示了关于MNLIn的不同适应方针的绩效。
<a id="S0485"></a> 令我们惊讶的是,PrefixEmbed和PrefixLayer在MNLI-100数据集上的性能非常差,PrefixEmbed的性能仅略优于随机机会(37.6%对33.3%).
<a id="S0486"></a> 前缀Layer的性能优于前缀Embed,但仍然比Fine-Tune或LORA在MNLI-100上的更糟糕.
<a id="S0487"></a> 随着培训实例数量的增加,基于前缀的方法和LORA/Fine-distance之间的差距会缩小,这可能表明基于前缀的方法不适合GPT-3中的低数据任务.
<a id="S0488"></a> LORA的性能优于MNLI-100和MNLI-Full的微调,考虑到随机种子造成的(±0.3)差异,MNLI-1k和MNLI-10K的可比较结果.
<a id="S0489"></a> 关于MNLI-n的不同适应方法的培训超参数见表17。
<a id="S0490"></a> 我们使用MNLI-100系列的PrefixLayer学习率较低,因为培训损失不会随着较大的学习率而减少。 G. 衡量各附属物之间的相似性 在本文中,我们用"(A, B, i, j)"="(U i, U j)"="(cid:107)"U A (cid:62)UB (cid:107)2 F来测量A B min{i, j}两个列正态矩阵U i → Rd×i和U j → Rd×j之间的相似性,由A B取取取A和B左单态矩阵的列.
<a id="S0491"></a> 我们指出,这种相似性只是标准Projection Metric的倒行逆施,它测量了ham & Lee子空间之间的距离(2008年). 22个
Page 23
<a id="S0492"></a> 方法超参数#可训练参数WikiSQL MNL-m Fine-Tune - 175B 73.8 89.5 I = 32,l = 8 0.4 M 55.9 84.9 p I = 64,l = 8 0.9 M 58.7 88.1 p i Prefix Embed I = 128,l = 8 1.7 M 60.6 88.0 p i = 256,l = 83.2 M 63.1 88.6 p I = 512,l = 8 6.4 M 55.9 o r r 4 r 910 br br br br br br br r r 73.2 r = 7 7 M7 r 7 r r 7304 r r r = 7 M7 r 13 r r r = = 13 r = 7 r r 13 = r 13 = = r = 13 = = r = 1 = r = 64 603.8 M 73.9 9 9 1 q k v o r = r = 8,l = 8,l = 4 37.8 M 75.0 91.4 q = p i LoRA+PE r = r = 32,l = 8,l = 4 151.1 M 75.9 91.1 q = r = 64,l = 8,l = 4 302.1 M 76.2 91.3 q = p i LoRA+PL r = r = 8,l = 8,l = 4 52.8 M 72.9 90.2 q = p i 表15: 对WikiSQL和 MNLI不同适应方法的超参数分析.
<a id="S0493"></a> 前缀嵌入调子(PrefixEmbed)和前缀层调子(PrefixLayer)都表现得更糟,因为我们增加了可受训练参数的数量,而LORA的性能稳定了.
<a id="S0494"></a> 性能以验证精度来测量.
<a id="S0495"></a> MNLI(m)-100 MNLI(m)-1k MNLI(m)-10k MNLI(m)-392K GPT-3(Fine-Tune) 60.2 85.8 88.9 89.5 GPT-3(前置Embed) 37.6 75.2 79.5 88.6 GPT-3(前置Layer) 48.3 8.2.5 85.9 89.6 GPT-3(LORA) 63.8 85.6 89.2 91.7 表16:使用GPT-3175B对MNLI子集采用不同方法的验证精度.
<a id="S0496"></a> MNLIn 描述一个包含 n 培训示例的子集.
<a id="S0497"></a> 我们用全套鉴定来评估
<a id="S0498"></a> 与包括微调在内的其他方法相比,LORA具有有利的样本效率。
<a id="S0499"></a> 具体来说,让U i(cid:62)U j的单值为:""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""
<a id="S0500"></a> 我们A B 1 2 p 知道Projection Metric Ham & Lee(2008)的定义是:(cid:118) (cid:117)p d(U i,U j) = (cid:117) (cid:116)p-(cid:88)\\ [0] A B i = 1 23
Page 24
<a id="S0501"></a> 超参数 适应 MNLI-100 MNLI-1k MNLI-10K MNLI-392K 优化器 - 亚当W Warmup Tokens - 250000 LR 时刻表 - 线性批量尺寸 - 20 100 128 # Epoch - 40 4 2 FineTune 5.00E-6 PrefixEmbed 2.00E-04 4.00E-04 5.00E-04 学习率 PrefixLayer 5.00E-05 5.00E-05 E-05 1.00E-04 LoRA 2.00E-4 PrefixEmbed l 16 32 64 p 256 p 适应-Prefixed Eune l 8 i i i i i i LoRA r = 8 p q v 表 17:在 MNLI(m (m)上使用不同的GPT-3 适应方法使用的超参数,其相似性被定义为: (cid:80)p/3/2 1 (c:16)(cid:17 i) i i 这种相似性满足于如果U i和U j共用同一列跨度,那么"(A,B,i,j)"= 1.
<a id="S0502"></a> 如果A B是完全正交的,则(A、B、i、j)=0。
<a id="S0503"></a> 否则, (A、B、一、j)(0、1)。 关于低程材料的补充警告 我们提出我们对低级更新矩阵调查的其他结果。 H.1 洛拉山地之间的腐败 见图6和图7,图3和图4所示结果如何概括到其他层面。 H.2 r对GPT-2的影响 我们重复我们在GPT-2中对r(第7.2节)的影响的实验。
<a id="S0504"></a> 以E2E NLG挑战数据集为例,我们报告在培训26 000个步骤后,不同选择r实现的验证损失和测试度量度。
<a id="S0505"></a> GPT-2 Medium的最佳分级根据所使用的度量在4到16之间,这与GPT-3175B相似.
<a id="S0506"></a> 请注意,模型大小与适应的最佳等级之间的关系仍然是一个未决问题。 H.3. W和QQW之间的校正,见图8,W和QQW之间正常的子空间相近性,r.
<a id="S0507"></a> 请注意,QQW并不包含W的顶端单数方向,因为QQW中前4个方向与W中前-10%方向的相似性勉强超过0.2.
<a id="S0508"></a> 这证明,QQW含有W不强调的那些“特定任务”指示。
<a id="S0509"></a> 下一个令人感兴趣的问题是,我们需要如何“强有力”地扩大这些具体任务的方向,以便模型的适应工作能够顺利进行? 24个
Page 25
<a id="S0510"></a> 1.0 0.8 0.4 0.2 0.0 1 reyaL i 1 2 3 4 5 6 7 8 Wq Wq Wv 23 reyaL 46 reyaL i 1 2 3 5 6 7 8 1 2 3 5 6 8 21 81 32 92 53 04 64 25 j 69 reyaL i 1 3 5 7 8 (Ar = 8 21 81 92 53 04 64 25 85 (Ar = 8 4 4 5 6 7 1 2 3 3 5 7 7 j j j 图6: 从 第1, 第32, 第64, 第96层变压器中R = 8 r= 64 → 第64 W 和 第96层的A 列向量的正次空间相似性. q诉H.4 拆解装置 人们自然可以将特征放大系数视为比分(cid:107)QQW(cid:107)F,其中U和V(cid:107)U(cid:62)WV(cid:62)(cid:107)F为SVD分解分解的左相和右相相相. (回忆U U (cid:62)W V (cid:62)V将W的"预测"放入由QQW所跨越的子空间. ) 直觉上,当QQW大多包含任务特定方向时,这个数量量度它们中有多少被QQW放大.
<a id="S0511"></a> 如第7.3节所示,r = 4这一放大系数高达20。
<a id="S0512"></a> 换句话说,每层(一般)有四个地物取向(出自预先训练过的模型W的整个地物取向),需要用一个非常大的系数20来放大,以达到我们所报告的下游具体任务的准确性.
<a id="S0513"></a> 并且,我们应当期望为每一个不同的下游任务,扩大一套非常不同的特征方向。
<a id="S0514"></a> 然而,人们可能会注意到,对于r = 64,这个放大系数只有2左右,也就是说,QQW 中学到的大多数方向(r = 64)并没有被很多放大.
<a id="S0515"></a> 这不应令人惊讶,事实上(再次)证明,代表“特定任务方向”所需的内在排名(即模型适应)很低。
<a id="S0516"></a> 相比之下,在QQW的4级版本(对应r=4)中,这些方向被更大的系数20.25所放大.
Page 26
<a id="S0517"></a> 1 7 19 0.8 25 31 0.7 37 0.6 49 0.5 61 0.3 0.2 0.1 0.0 1 reyaL i Wq Wv 23 reyaL Wv 1 6 11 61 12 62 13 14 64 15 65 65 43 43 49 55 61 j 46 reyaL i 1 11 11 61 12 62 16 12 16 6 11 12 13 63 14 64 15 65 16 (Ar=64, A0r=64, i, j) 图7:A纵向量从两个随机的r=64种子跑起的正态分空间相似度,分别为从X-W到96层 Transq v.
<a id="S0518"></a> BLEU NIST METEOR ROUGE L CIDER 1.23 68.72 8.7215 0.4565 0.7052 2.4329 2. 1.21 69.17 8.7413 0.4590 0.7052 2.4639 4 1.18 70.38 8.8439 04689 0.7186 2.5349 8 1.17 69.57 8.7457 0.4636 0.7196 2.5196 16.16 69.61 8.7483 04629 0.7177 2.4985 32 1.1633 8.7736 0.4642 0.75255 64 1.16248.7174 0.4651 0.7180 2.5070 128 68.738.6718 0.4628 0.7127 2.530 256 1.166892 8.6982 0.4629 0.71282.5012 5.12 1.16 68.78 8.6857 0.4637 0.7 0.7 0.7128 2.5025 1.174.69375. 04659 0.4659 0.7149 2.50909 表18:不同等级r的LORA使用GPT-2 Medium实现的E2E NLG挑战的验证损失和测试成套度量衡.
<a id="S0519"></a> 与GPT-3上的r = 1足以完成许多任务不同,这里的性能峰值为r = 16用于验证损失,r = 4用于BLEU,表明与GPT-3 175B相比,GPT-2介质在适应上的内在排名相似.
<a id="S0520"></a> 请注意,我们的一些超参数调整在r=4上,与另一个基线的参数数相匹配,因此可能不适于其他选择的r. 451 0.200 555 658 0.1575 7620 865 969 0.125 1072 0100 1176 j i Wq Random(Wq,Ar = 4,i,j)(Wq,Ar = 8,i,j)(Wq,Ar = 64,i,j)(Wq,Arand,i,j) j j j 图8: W和QQW q的单向的正态亚空间相似度,且基线不同。 QQW放大了W中重要但非emphaq大小的取向. 有较大r的QQW倾向于取出更多W26中已经强调的取向.