Improving Language Understanding by Generative Pre-Training Alec Radford Karthik Narasimhan Tim Salimans Ilya Sutskever OpenAI OpenAI OpenAI OpenAI - 全部中文论文
translated: 2026-07-16
title: "Improving Language Understanding by Generative Pre-Training Alec Radford Karthik Narasimhan Tim Salimans Ilya Sutskever OpenAI OpenAI OpenAI OpenAI" aliases: - "GPT" source: "https://openai.com/research/language-unsupervised" arxiv: "" created: 2026-07-16 type: paper-translation status: translated tags: - paper - ml - deep-learning - nlp
Improving Language Understanding by Generative Pre-Training Alec Radford Karthik Narasimhan Tim Salimans Ilya Sutskever OpenAI OpenAI OpenAI OpenAI - 全部中文论文
Page 1
<a id="S0001"></a> 提高语言理解,由Generative Pre-Training Alec Radford Karthik Narasimhan Tim Salimans Ilya Sutskever OpenAI OpenAI OpenAI alec@openai.com karthikn@openai.com tim@openai.com ilyasu@openai.com编写 文摘自然语言理解包含各种各样的任务,如文字涵义,问答,语义相似性评估和文件分类等.
<a id="S0002"></a> 虽然大而无标签的文字公司是丰富的,但用于学习这些具体任务的有标签的数据却很少,使得经过歧视性培训的模型难以充分发挥作用。
<a id="S0003"></a> 我们表明,在这些任务上可以取得很大进展,具体做法是,对各种无标签文本的语言模式进行先入为主的培训,然后对每项具体任务进行歧视性的微调。
<a id="S0004"></a> 与前作不同的是,我们在微调时利用任务感输入转换来实现有效的转移,同时要求最小程度地改变模型架构.
<a id="S0005"></a> 我们显示了我们在各种自然语言理解基准方面的做法的有效性。
<a id="S0006"></a> 我们的一般任务不可知模型优于经过歧视性培训的模型,这些模型使用专门为每项任务而设计的建筑,在研究的12项任务中,有9项大大改进了最新艺术。
<a id="S0007"></a> 例如,我们在常识推理(Stries Cloze Test)方面实现了8.9%的绝对改进,在回答问题(RACE)方面实现了5.7%的绝对改进,在文字方面实现了1.5%的绝对改进。 导言 有效学习原始文字的能力对于减轻对自然语言处理(NLP)中受监督的学习的依赖至关重要.
<a id="S0008"></a> 大多数深层学习方法都需要大量人工标注的数据,这限制了这些数据在许多领域的适用性,这些领域缺乏附加说明的资源[61]。
<a id="S0009"></a> 在这种情况下,能够利用无标签数据的语言信息的模式为收集更多注释提供了宝贵的替代方法,这些注释可能耗时而昂贵。
<a id="S0010"></a> 此外,即使在有相当程度监督的情况下,以不受监督的方式学习良好的表现方式也能大大地促进业绩。
<a id="S0011"></a> 迄今为止,这方面最令人信服的证据是广泛使用预先训练过的字词嵌入[10、39、42],以提高一系列NLP任务[8、11、26、45]的性能。
<a id="S0012"></a> 然而,从未加标签的文本中获取超过文字层面的信息具有挑战性,主要原因有二.
<a id="S0013"></a> 首先,不清楚哪种类型的优化目标在学习文本表述方面最为有效,而文本表述对转移有用.
<a id="S0014"></a> 最近的研究研究了各种目标,如语言模型[44]、机器翻译[38]和语句一致性[22],每种方法在不同任务上都比其他方法要好。 第二,对于将这些学到的意见转移到目标任务上的最有效方式没有达成共识。
<a id="S0015"></a> 现有技术包括结合对示范架构进行针对具体任务的改变[43,44],采用复杂的学习计划[21]并增加辅助学习目标[50].
<a id="S0016"></a> 这些不确定因素使得很难为语言处理制定有效的半监督学习方法. 1https://gluebenchmark.com/ 领导板预印.
Page 2
<a id="S0017"></a> 在本文中,我们探索了一种半监督的方法,利用无监督的预训和有监督的微调相结合,完成语言理解任务.
<a id="S0018"></a> 我们的目标是学习一种普遍代表性,这种代表性的转让很少适应范围广泛的任务。
<a id="S0019"></a> 我们假定可以查阅大量未加标签的文本和几个带有人工附加说明的培训实例(目标任务)的数据集。
<a id="S0020"></a> 我们的设置并不要求这些目标任务与未被标记的元件在同一域.
<a id="S0021"></a> 我们采用两个阶段的培训程序。
<a id="S0022"></a> 首先,我们使用未标注数据上的语言建模目标来学习神经网络模型的初始参数.
<a id="S0023"></a> 随后,我们利用相应的监督目标,使这些参数适应目标任务。
<a id="S0024"></a> 对于我们的模型架构,我们使用变形器[62],已经显示它在机器翻译[62],文件生成[34],和合成解析[29]等各种任务上表现很强.
<a id="S0025"></a> 这种模式选择为我们提供了处理文本长期依赖性的更结构化的内存,与经常性网络等替代方案相比,这导致了不同任务的强力转移性能.
<a id="S0026"></a> 在转让期间,我们利用由转录式方法产生的针对具体任务的投入调整[52],将结构化的文本输入作为单一的相接符号序列处理。
<a id="S0027"></a> 正如我们在实验中所表明的那样,这些改造使我们能够通过对预先训练过的模型结构的微小改变而有效地调整。
<a id="S0028"></a> 我们对四种语言理解任务——自然语言推论、问题回答、语义相似性以及文本分类——进行评估。
<a id="S0029"></a> 我们的一般任务不可知模型超越了经过歧视性培训的模型,这些模型采用了专门为每项任务设计的建筑,在所研究的12项任务中,有9项大大改进了最新艺术。
<a id="S0030"></a> 例如,我们在常识推理(Stries Cloze Test)[40]、回答问题(RACE)[30]5.7%、文字暗示(MultiNLI)[66]1.5%和最近推出的GLUE多任务基准[64]5.5%方面实现了绝对改进。
<a id="S0031"></a> 我们还在四个不同的场合上分析预训模型的零发行为,并表明它为下游任务获得了有用的语言知识. 2 国家劳工局半监督学习的相关工作 我们的工作大体属于自然语言半监督学习范畴.
<a id="S0032"></a> 这个范式引起了人们的极大兴趣,适用于序列标签[24,33,57]或文本分类[41,70]等任务.
<a id="S0033"></a> 最早的方法使用无标签数据来计算词级或短语级统计,然后作为被监管模型的特征[33].
<a id="S0034"></a> 在过去几年中,研究人员展示了使用被培训的无标签公司字嵌入法[11,39,42]的好处,以提高各种任务[8,11,26,45]的性能.
<a id="S0035"></a> 然而,这些方法主要传递词层信息,而我们的目标是捕捉更高层次的语义.
<a id="S0036"></a> 最近的方法研究了学习和利用的不仅仅是无标签数据的词级语义。
<a id="S0037"></a> 可以使用无标签符来训练的词层或句层嵌入器,被用来将文本编码成适合用于各种目标任务的矢量表示 [28, 32, 1, 36, 22, 12, 56, 31].
<a id="S0038"></a> 未受监督的预训未受监督的预训是半受监督的学习的特例,目标是找到良好的初始化点,而不是修改被监督的学习目标.
<a id="S0039"></a> 早期的作品探索了该技术在图像分类[20,49,63]和回归任务[3]中的应用.
<a id="S0040"></a> 随后的研究[15]表明,培训前是一种规范化计划,有助于在深层神经网络中更好地概括。
<a id="S0041"></a> 在近期的作品中,该方法被用于帮助训练深层神经网络执行各种任务,如图像分类[69],语音识别[68],实体分化[17]和机器翻译[48]等.
<a id="S0042"></a> 与我们最接近的工作是利用语言建模目标对神经网络进行预先培训,然后在监督下对目标任务进行微调。
<a id="S0043"></a> Dai等 [13]和Howard和Ruder [21] 采用这种方法来改进文本分类.
<a id="S0044"></a> 然而,虽然培训前阶段有助于获取一些语言信息,但他们对LSTM模型的使用将预测能力限制在了很短的范围内.
<a id="S0045"></a> 与此相对照,我们选择变压器网络,使我们能够捕捉更远距离的语言结构,正如我们的实验所证明的那样.
<a id="S0046"></a> 此外,我们还展示了我们的模式在更广泛的任务方面的效力,包括自然语言推论、解说探测和故事完成。
<a id="S0047"></a> 其他办法[43、44、38]使用2中的隐性表述
Page 3
<a id="S0048"></a> 预训语言或机器翻译模型作为辅助功能,同时就目标任务培训一个有监督的模型.
<a id="S0049"></a> 这涉及每项单独目标任务的大量新参数,而我们在转移过程中需要对我们的模式结构作最小的改动。
<a id="S0050"></a> 辅助培训目标 添加辅助无监督培训目标是半监督学习的一种替代形式.
<a id="S0051"></a> Collobert和Weston的早期工作[10]利用了POS标记,块分,命名实体识别等多种辅助NLP任务,以及语言模型来改进语义角色标签.
<a id="S0052"></a> 最近,Rei [50]在他们的目标任务目标中增加了一个辅助语言模型目标,并展示了序列标签任务的绩效收益.
<a id="S0053"></a> 我们的实验也使用辅助目标,但正如我们所显示的,未经监督的预训已经学习了与目标任务相关的几个语言方面. 3 框架 我们的训练程序包括两个阶段。
<a id="S0054"></a> 第一阶段是在一大批文字上学习高能语言模型.
<a id="S0055"></a> 接下来是微调阶段,我们用标有标签的数据使模型适应歧视性的任务. 3.1 鉴于U = {u,.,.,.u}的无监督符号,我们使用一个标准语言模式,以达到1 n 的目标,以最大限度地实现以下可能性:(cid:88 L (U) = log P (u |u,.,.,.; ) (1) 1 i i-k i- 1 i,其中 k 为上下文窗口的大小,有条件的 P 是使用带有参数的神经网络进行模型。
<a id="S0056"></a> 这些参数使用分层梯度下降法进行训练[51].
<a id="S0057"></a> 在我们的实验中,我们使用多层变形器解码器[34]用于语言模型,这是变形器[62]的一个变体.
<a id="S0058"></a> 本模型在输入上下文符号上应用多头自留式操作,然后是位置方向的向导层,以在目标符号上产生输出分布: h = U W + W 0 e p h l = 变压器 block(h l−1) ∀ ∀ [1, n] (2) P (u) = 软max (h W T) n e , 其中 U = (u,., u) 为上下文向量, n 为地层数, W 为正向- k− 1 e 嵌入矩阵, W 为位置嵌入矩阵. 页: 1 监督微调 在以Eq. 1为目标对模型进行培训后,我们调整参数,使之适应受监督的目标任务。
<a id="S0059"></a> 我们假设一个有标签的数据集C,其中每个实例包含一个输入符的序列,x1,.,xm,以及标签y.
<a id="S0060"></a> 输入通过我们预先训练过的模型来获得最后变压器块的活化hm,然后输入一个附加的线性输出层,其中包含l参数W以预测y:y:y-P(y-Xx1,.,xm)=软max(hmW.). (3)l y 这给了我们以下最大化的目标:(cid:88)L(C)=log P(y-Xx1,.,.,xm.,xy). (4) 2(x,y) 我们进一步发现,将语言模型作为微调的辅助目标,通过(a) 改进被监督模型的通化,以及(b) 加速趋同。
<a id="S0061"></a> 这与先前的工作[50、43]是一致的,后者也观察到这种辅助目标提高了业绩。
<a id="S0062"></a> 具体地说,我们优化了以下目标(有重量+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++-+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++ 3个
Page 4
<a id="S0063"></a> 图1: (左)本作采用的变形器架构和培训目标. (权利) 对不同任务进行微调的输入转换.
<a id="S0064"></a> 我们把所有结构化的输入转换成符号序列,由我们预先训练的模型处理,然后是线性+软max层. 3.3 针对具体任务的投入转变 对于一些任务,如文本分类,我们可以直接微调上述模式.
<a id="S0065"></a> 某些其他任务,如回答问题或文字问题,有结构化的投入,如命令的句子对,或文件、问答的三重性。
<a id="S0066"></a> 由于我们经过预先训练的模型接受了关于相接相接的文本序列的培训,我们需要进行一些修改,以便将它应用于这些任务。
<a id="S0067"></a> 先前的工作除了转移的表述外,还提议学习任务的具体结构[44]。
<a id="S0068"></a> 这种做法重新引入了大量针对具体任务的定制,不使用这些额外的建筑构件的转移学习.
<a id="S0069"></a> 取而代之的是,我们使用一种倒转式的方法[52],将结构化的输入转换成我们预先训练过的模型可以处理的顺序.
<a id="S0070"></a> 这些投入转变使我们能够避免对各种任务的架构进行广泛的改变。
<a id="S0071"></a> 下面我们简要描述这些输入转换,图1提供了可视化的图解.
<a id="S0072"></a> 所有变换包括加入随机初始化起站牌和末站牌((cid:104)s(cid:105),(cid:104)e(cid:105)).
<a id="S0073"></a> 为了完成各项任务,我们将前提p和假设h符号序列合并起来,并在两者之间加上一个划定符($)。
<a id="S0074"></a> 相似性 就相似性任务而言,对这两个句子没有进行内在的比较。
<a id="S0075"></a> 为了反映这一点,我们修改输入序列,以便既包含可能的句子顺序(介于两者之间),又独立处理每个句子,以产生两个序列表示hml,在被输入到线性输出层之前按元素添加到hml。
<a id="S0076"></a> 问答和常识 对于这些任务,我们得到了一个上下文文件z,一个问题q,以及一组可能的答案{a}.
<a id="S0077"></a> 我们将文档上下文k与每个可能的答案合并,并在两者之间添加一个分隔符以获得[z; q; $; a]。
<a id="S0078"></a> 这些序列中的每一个 k 都与我们的模型独立处理,然后通过软马克斯层实现常态化,以在可能的答案上产生输出分布. 4 实验 4.1 设置无监督预训 我们使用 BooksCorpus 数据集 [71] 来培训语言模型.
<a id="S0079"></a> 该书收录了来自"冒险","幻想","浪漫"等多家流派的7000多本独特的未出版书籍.
<a id="S0080"></a> 关键的是,它包含了相接文字的长长长度,这使得基因模型可以学习以长距离信息为条件.
<a id="S0081"></a> 另一种数据集,即类似方法使用的1B Word基准,ELMo[44],大小大致相同。
Page 5
<a id="S0082"></a> 表1:我们实验中使用的不同任务和数据集列表.
<a id="S0083"></a> 任务数据集 自然语言推断 SNLI [5], MultiNLI [66], question NLI [64], RTE [4], Scitail [25] 回答 RACE [30], Story Cloze [40] 句子相近 MSR 参数 Corpus [14], Quora 质询对等 [9], STS 基准 [6] 分类 Stanford Sentimment Treebank-2 [54], CoLA [65] 但被打乱了句子-摧毁了远程结构.
<a id="S0084"></a> 我们的语言模式 实现了一个非常低的标志 水平的模糊度 18.4在这个本体。
<a id="S0085"></a> 示范规格 我们的型号基本上遵循了原来的变压器工作[62].
<a id="S0086"></a> 我们训练了一台12层的解码器专用变压器,并有面具自留心头(768个维态和12个注意力头).
<a id="S0087"></a> 对于位置方向的进取网络,我们使用了3072维的内态.
<a id="S0088"></a> 我们使用了亚当优化计划[27] 最大学习率为2.5e-4.
<a id="S0089"></a> 在2000年的首次更新中,学习率从零线性地提高到了0线性,使用同位素表。
<a id="S0090"></a> 我们训练100个世纪 在64个随机抽取的小型战舰上 512个标志的相接序列
<a id="S0091"></a> 由于图层诺姆[2]在整个模型中被广泛使用,简单的N(0,0.02)的重量初始化就足够了.
<a id="S0092"></a> 我们使用了一个字节编码(BPE)词汇,有40,000个合并[53],剩余,嵌入,以及注意力的失学率0.1用于规范化.
<a id="S0093"></a> 我们还采用了[37]中提议的L2规范化修改版,所有非偏差或增重的w=0.01。
<a id="S0094"></a> 对于活化功能,我们使用了高斯误差线性单元(GELU)[18].
<a id="S0095"></a> 我们使用了学习的嵌入位置,而不是原作中提议的鼻音版本。
<a id="S0096"></a> 我们使用 ftfy 库2 来清理 BooksCorpus 中的原始文本,将一些平分和白空格标准化,并使用 sparCy 标注器。 微调细节 除非指定, 我们重新使用超参数设置 从不受监督的预训。
<a id="S0097"></a> 我们把退学率加到0.1
<a id="S0098"></a> 对于大多数任务,我们使用6.25e-5的学习率,分批使用32.
<a id="S0099"></a> 我们的模式迅速微调,三个时代的训练对多数情况都足够。
<a id="S0100"></a> 我们使用线性学习率衰减计划 热身超过0.2%的训练 确定为0.5.4.2 监督微调 我们进行各种监督任务的实验,包括自然语言推论,问题回答,语义相似,以及文字分类.
<a id="S0101"></a> 其中一些任务可作为最近发布的GLUE多任务基准的一部分[64]提供,我们使用这些基准。
<a id="S0102"></a> 图1概述了所有任务和数据集。
<a id="S0103"></a> 自然语言推论 自然语言推论(NLI)的任务,也称为承认文字内涵,涉及读取一对句子,并从引出,矛盾或中性的角度判断它们之间的关系.
<a id="S0104"></a> 虽然最近引起了许多兴趣[58,35,44],但由于存在各种现象,如从词法上引出、相互参照以及从词法上和从语法上模糊不清,这项任务仍然具有挑战性。
<a id="S0105"></a> 我们评价五个有不同来源的数据集,包括图像标题(SNLI),转写语音,通俗小说,以及政府报告(MNLI),维基百科文章(QNLI),科学考试(SciTail)或新闻文章(RTE).
<a id="S0106"></a> 表2详细列出了我国模式和以往最新办法的不同国家综合行动任务的各种结果。
<a id="S0107"></a> 我们的方法大大超过了五个数据集中的四个数据集的基线,实现了在MNLI上最高1.5%,在SciTail上5%,在QNLI上5.8%,在SNLI上0.6%的绝对改进,超过了之前的最佳结果.
<a id="S0108"></a> 这说明我们的模型有能力更好地解释多个句子,
<a id="S0109"></a> 在RTE上,我们评价的一个较小的数据集(2490例),我们实现了56%的精度,低于一个多任务双LSTM模型报告的61.7%.
<a id="S0110"></a> 鉴于我们在较大的国家液化物联网数据集方面做法的有力表现,我们的模型可能也将受益于多任务培训,但我们目前尚未探讨这一问题。 2https://ftfy.readthedocs.io/en/latest/ 3https://spacy.io/ 5 (中文(简体) ).
Page 6
<a id="S0111"></a> 表2:自然语言推断任务的实验结果,将我们的模型与目前最先进的方法进行比较. 5x表示由5个型号组成的组合.
<a id="S0112"></a> 所有数据集都以准确性作为评价尺度。
<a id="S0113"></a> MNLI-m MNLI-mm SNLI SciTail QNLI RTE ESIM + ELMo [44] (5x) - - 89.3 (5x) - - - CAFE [58] 80.2 79.0 89.3 - - - - Stochastic Answer Network [35 (3x) 80.6 80.1 - - - - - - - CAFE [58] 78.7 77.9 88.5 83.3 GenSen [64] 71.4 71.3 - 82.3 - 82.3 59.2 多任务 BiLSTM + Atn [64] 72.2 72.1 - 82.1 61.7 微调变压器 LM (ours) 82.1 81.4 89.9 88.3 88.1 56.0 表3:问答结果和常识推理,将我们的模型与目前最先进的方法进行比较. 9x指由9个模型组成的组合.
<a id="S0114"></a> 方法故事 Cloze RACE-m RACE-h RACE val-LS-skip [55] 76.5 - - - - - 隐藏一致性模型 [7] 77.6 - - - - - 动态聚合网 [67] (9x) - 55.6 49.4 51.2 BiAtenting MRU [59] (9x) - 60.2 50.3 53.3 微调变压器 LM(我们) 86.5 62.9 57.4 59.0 (韩语) 问题回答和常识推理 另一个需要单一和多判决推理各个方面的任务就是问题回答.
<a id="S0115"></a> 我们使用最近发布的RACE数据集[30],由英文段落和初中和高中考试相关问题组成.
<a id="S0116"></a> 已经证明这本书中包含更多的推理类型问题,例如CNN[19]或SQuaD[47]等其他数据集,为我们模型提供了完美的评价,该模型经过了处理远程环境的培训。
<a id="S0117"></a> 此外,我们还在"故事克洛兹测试"(Story Cloze Test)上评价了[40],这涉及到从两个选项中选择正确的结局到多判决故事.
<a id="S0118"></a> 在这些任务上,我们的模型再次以显著的差幅超越了之前的最佳结果——在"故事克洛兹"上高达8.9%,在RACE上则高达5.7%。
<a id="S0119"></a> 这表明我们的模式有能力有效地处理长期环境。
<a id="S0120"></a> 语义相似性语义相似性(或译出词检测)的任务涉及预测两个句子在语义上是否等同.
<a id="S0121"></a> 挑战在于承认概念的重写、理解否定和处理协同模糊。
<a id="S0122"></a> 我们使用三个数据集来完成这项任务 — 微软参数(MRPC)14,Quora Question Pairs(QQP)数据集[9],以及语义文字相似性基准(STS-B)[6].
<a id="S0123"></a> 我们以STS-B的1分绝对得分获得三个语义相似任务中的两个(表4)的最新结果.
<a id="S0124"></a> 在QQP上的性能Delta显著出众,与单任务BiLSTM + ELMo + Attn相比有4.2%的绝对改进.
<a id="S0125"></a> 最后,我们还评估了两个不同的文本分类任务。
<a id="S0126"></a> 语言可接受性公司(CoLA)[65] 载有对某一句子是否语法问题的专家判断,并测试训练有素的模型固有的语言偏差.
<a id="S0127"></a> 而"斯坦福感想树"(SST-2)[54]则是标准二进制分类任务.
<a id="S0128"></a> 我们的模型在CoLA上获得45.4分的分数,这比以前35.0的最好成绩特别大,展现出我们模型学到的先天语言偏差.
<a id="S0129"></a> 该模型在SST-2上也实现了91.3%的精度,与最先进的成绩相竞争.
<a id="S0130"></a> 我们还在GLUE基准上达到总分72.8分,大大优于之前68.9分中的最佳成绩. 6个
Page 7
<a id="S0131"></a> 表4:语义相似和分类结果,将我们的模型同目前最先进的方法进行比较.
<a id="S0132"></a> 本表中的所有任务评价都是使用GLUE基准进行的. (mc=Mathews conference, acc=准确性, pc=Pearson conference) 方法分类语义相似性 GLUE CoLA SST2 MRPC STSB QQP (mc)(ac)(F1)(pc)(F1) Sparse byte mLSTM [16] - 93.2 - - - - - - - - - TF-KLD [23] - 86.0 - - - - - - - ECNU(混合合唱团) [60] - - - - 81.0 - - 单任务 BiLSTM + ELMo + Atn [64] 35.0 90.2 55.5 66.1 64.8 多任务 BILSTM + EL Mo + Atn [64] 18..9 91.6 83.5 63.3 68.9 精细变形器 LM(ours) 45.4 9.1.3 82.382.30 70.3 72.8 总的来说,我们的方法在我们评价的12个数据集中,有9个取得了新的最新成果,在许多情况下,这些数据集的成绩超过了总体。
<a id="S0133"></a> 我们的结果还表明,我们的方法在大小不同的数据集之间运作良好,从较小的数据集,如STS-B(XQ5.7k培训实例)到最大的一个(SNLI)(XQ550k培训实例)。 5 转让层数的影响 我们看到将不同数量的分层从无监督的前期培训转移到受监督的目标任务所产生的影响。
<a id="S0134"></a> 图2(左)显示我们在多NLI和RACE方面作为转移层数函数的表现。
<a id="S0135"></a> 我们观测到的标准结果是,转接嵌入物能提高性能,每个变压器层在MultiNLI上为全转接提供高达9%的进一步好处.
<a id="S0136"></a> 这表明预训模型中的每个层都包含了解决目标任务的有用功能.
<a id="S0137"></a> 图2: (左)从RACE和MultiNLI的预训语言模型中转移越来越多的地层的影响. (权利) 作为LM预训更新的一个功能,在不同的任务上显示零发性能的演变.
<a id="S0138"></a> 每个任务的性能在随机猜想基线和目前采用单一模型的先进水平之间实现常态化.
<a id="S0139"></a> 零射出的行为 我们想知道为什么变压器的语文模型预训是有效的。 一种假设是,基础基因模型学会执行我们评价的许多任务,以提高其语言模型能力,结构更加严密的7
Page 8
<a id="S0140"></a> 表5:关于不同任务的各种模型分析。
<a id="S0141"></a> Avg.分数是所有结果的未加权平均值. (mc=马修斯相关,acc=精确,pc=皮尔逊相关) Method Avg.
<a id="S0142"></a> 分数CoLA SST2 MRPC STSB QQP MNLI QNLI RTE (mc)(ac)(F1)(pc)(f1)(ac)(ac) 变压器 w/ aux LM (完整) 74.7 45.4 91.3 82.3 82.0 80.3 56.0 变压器 w/o预训 59.9 18.8 84.0 79.4 30.9 65.5 75.7 71.2 53.8 变压器 w/oux LM 75.0 47.9 92.0 84.9 84.9 83.2 69.8 81.1 86.9 54.4 LSTM w/aux LM 69.1 30.3 90.5 83.2 71.8.1 73.7 81.1 54.6 变压器的注意内存与LSTMs相比,有助于转录.
<a id="S0143"></a> 我们设计了一系列的热力学解决方案,这些解决方案利用基本的基因模型来完成任务,而不进行监督的微调.
<a id="S0144"></a> 我们通过图2(right)的基因前训练,来想象这些热力学解决方案的有效性.
<a id="S0145"></a> 我们观察到,与培训相比,这些heuristics的性能是稳定和稳步地增加的,这表明基因前培训有助于学习各种与任务有关的功能。
<a id="S0146"></a> 我们还观察到LSTTM在零射出性能上表现出了更高的差异,这表明变形器架构的诱导偏差有助于传输.
<a id="S0147"></a> 对于CoLA(语言可接受性),实例被评为基因模型指定和预测通过阈值得出的平均符号对数概率.
<a id="S0148"></a> 对于 SST-2 (sentiment analysis) , 我们把符号附加到每个例子中, 并且将语言模型的输出分布限制在只有正负两个单词, 并猜测它给作为预测的概率更高。
<a id="S0149"></a> 对于 RACE(问题回答),我们选择一个答案,基因模型在对文件和问题作条件时指定了最高的平均符号日志概率。
<a id="S0150"></a> 对于DPRD46,我们用两个可能的推荐词来取代确定的代词,并预测基因模型给替代后的其余序列分配了更高的平均符号对数概率的分辨率.
<a id="S0151"></a> 阅读研究 我们进行了三项不同的消化研究(表5)。
<a id="S0152"></a> 首先,我们在微调时,在没有辅助LM目标的情况下,检查我们方法的性能.
<a id="S0153"></a> 我们观察到,辅助目标有助于NLI任务和QQP.
<a id="S0154"></a> 总的来说,趋势表明,较大的数据集受益于辅助目标,但较小的数据集却没有。
<a id="S0155"></a> 第二,我们分析变形器的效果,把它与使用同一种框架的单层2048个单元的LSTM进行比较.
<a id="S0156"></a> 我们在使用LSTM而不是"变形器"时观察到平均得分下降5.6分.
<a id="S0157"></a> LSTM只在一个数据集上超越了变形器 — MRPC.
<a id="S0158"></a> 最后,我们还与直接接受监督目标任务培训的变压器结构进行比较,不进行预先培训。
<a id="S0159"></a> 我们发现,由于缺乏预训,所有任务的业绩都受到影响,因此与我们的全部模式相比,下降了14.8%。 6 结论 我们采用了一个框架,通过基因前培训和歧视性的微调,用单一的任务不可知模型实现强烈的自然语言理解。
<a id="S0160"></a> 通过对具有长长毗连文本的多种实体进行预先培训,我们的模型获得了重要的世界知识和能力,可以处理长期依赖性,然后成功地转移到解决诸如回答问题、语义相似性评估、必然性确定和文本分类等歧视性任务上,从而改进了我们研究的12个数据集中的9个数据集的艺术水平。
<a id="S0161"></a> 利用不受监督的(前)培训来提升歧视性任务的表现,长期以来一直是机器学习研究的一个重要目标.
<a id="S0162"></a> 我们的工作表明,取得重大业绩收益确实是可能的,并提示哪些模型(转换器)和数据集(具有长距离依赖性的文本)最能采用这种方法。
<a id="S0163"></a> 我们希望,这将有助于对自然语言理解和其他领域的无监督学习进行新的研究,进一步提高我们对无监督学习方式和时间的理解。
<a id="S0164"></a> 妈,句子嵌入的基线很简单,但很难打 2016. 8 (英语).
Page 9
<a id="S0165"></a> 层层正常化. arXiv preprint arXiv:1607.06450, 2016. [3] (英语). 没错
<a id="S0166"></a> 贪心地分层训练深网.
<a id="S0167"></a> "神经信息处理系统的进步", 第153-160页, 2007. [4]. 维基月球在线解说-李克文陨石坑 Andersson, L.
<a id="S0168"></a> 第五波斯卡尔承认文字上的挑战。
<a id="S0169"></a> 曼宁语. 学习自然语言推论的大型注释教程.
<a id="S0170"></a> Semeval-2017任务一:语义文字相似性-多语言和跨语言重点评价. arXiv预印 arXiv:1708.00055, 2017. [7]. 师曰.
<a id="S0171"></a> 故事理解预测接下来会发生什么。
<a id="S0172"></a> 2017年自然语言处理经验方法会议纪要, 第1603–1614页, 2017. [8]. D类.
<a id="S0173"></a> 曼宁语. 利用神经网络快速准确的依赖解析器.
<a id="S0174"></a> 2014年自然语言处理经验方法会议纪要(EMNLP),第740-750页,2014 [9] 兹.
<a id="S0175"></a> 克罗拉问题对. https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs, 2018. [10] R.
<a id="S0176"></a> 韦斯顿. 自然语言处理的统一架构:具有多任务学习的深层神经网络.
<a id="S0177"></a> 《第25次机器学习国际会议记录》,第160-167页。
<a id="S0178"></a> 自然语言处理(从零开始).
<a id="S0179"></a> 机器学习研究杂志,12 (Aug):2493–2537, 2011. [12]. A类.
<a id="S0180"></a> 从自然语言推论数据中监督学习通用句子表达.
<a id="S0181"></a> In Advances in Neural Information Systems, pages 3079–3087, 2015 [14] W. B.
<a id="S0182"></a> 自动地构建出一系列的感人语句.
<a id="S0183"></a> 2005年第三次国际审校讲习班会议记录[15] D。
<a id="S0184"></a> 为何无监督的预训会帮助深入学习?
<a id="S0185"></a> 机器学习研究杂志,11(Feb):625–660, 2010. [16]. 师曰.
<a id="S0186"></a> Gpu内核用于块-sparse重量. 2017. [17] Z (中文(简体) ).
<a id="S0187"></a> 学习实体代表实体分裂。
<a id="S0188"></a> 计算语言学协会第51届年会记录(第2卷:短篇论文),第2卷,第30至34页,2013 [18] D.
<a id="S0189"></a> 将非线性与有条纹的正则器与高斯误差线性单位相接. arXiv preprint arXiv:1606.08415, 2016. [19] K. M.
<a id="S0190"></a> 教出能读能懂的机器.
<a id="S0191"></a> In Advances in Neural Information Systems, pages 1693–1701, 2015 [20] G. E.
<a id="S0192"></a> 铁. 深度信仰网快速学习算法.
<a id="S0193"></a> 神经计算,18(7):1527–1554, 2006. [21] J.
<a id="S0194"></a> 通用语言模型微调文本分类.
<a id="S0195"></a> 计算语言学协会(ACL),2018. [22] Y.
<a id="S0196"></a> 基于演讲的目标为快速无监督的句子表现学习. arXiv预印 arXiv:1705.00557, 2017. [23] Y.
<a id="S0197"></a> 对分布式句子相似性的歧视性改进.
<a id="S0198"></a> 《2013年自然语言处理经验方法会议纪要》,第891-896页。
Page 10
<a id="S0199"></a> 半监督有条件的随机字段,用于改进序列分和标签.
<a id="S0200"></a> 第21次计算语言学国际会议和计算语言学协会第44次年会记录,第209-216页。
<a id="S0201"></a> 计算语言学协会, 2006. [25] T.
<a id="S0202"></a> 剪尾:从科学问题回答中得出的文字内涵数据集.
<a id="S0203"></a> 判决分类的革命神经网络.
<a id="S0204"></a> 亚当:一种花样优化的方法. arXiv preprint arXiv:1412.6980, 2014. [28] R.
<a id="S0205"></a> In Advances in 神经信息处理系统, 第3294–3302页, 2015. [29]. 编号
<a id="S0206"></a> 选区解析用自意编码器.
<a id="S0207"></a> 种族:通过考试获得的大规模阅读理解数据集.
<a id="S0208"></a> 无人监督的机器翻译只使用单一语言的corpora.
<a id="S0209"></a> 分发判决和文件的说明。
<a id="S0210"></a> 国际机器学习会议,第1188-1196页,2014 [33] P.
<a id="S0211"></a> 半监督学习自然语言.
<a id="S0212"></a> 2005年麻省理工学院博士论文[34] P.J.
<a id="S0213"></a> 通过总结长序来生成维基百科.
<a id="S0214"></a> Stochastic 回答网络 自然语言推论. arXiv preprint arXiv:1804.078888, 2018. [36] L.
<a id="S0215"></a> 学习判刑表述的有效框架。
<a id="S0216"></a> 修复重衰变常态在Adam. arXiv预印 arXiv:1711.05101, 2017. [38]. B类.
<a id="S0217"></a> 翻译学:背景化字向量.
<a id="S0218"></a> (原始内容存档于2017-09-26). In Advances in Neural Information Systems, page 6297–6308, 2017. [39]. T.
<a id="S0219"></a> 分布的表达词和短语及其组成.
<a id="S0220"></a> 在神经信息处理系统的进步, 第3111–3119页, 2013. [40]. 编号
<a id="S0221"></a> Lsdsem 2017 共享任务:故事血块测试.
<a id="S0222"></a> 《关于将语言、感知和演讲层次语义模型联系起来的第二次讲习班记录》,第46-51页,2017. [41] K.
<a id="S0223"></a> 使用em进行半监督文本分类.
<a id="S0224"></a> 半监督学习, 第33-56页, 2006. [42] J.
<a id="S0225"></a> 手套:用于文字表达的全球矢量.
<a id="S0226"></a> 2014年自然语言处理经验方法会议纪要(EMNLP),第1532–1543页,2014 [43] M. E.
<a id="S0227"></a> 用双向语言模型进行半监督序列标记.
<a id="S0228"></a> 深为上下文的单词表达.
<a id="S0229"></a> 神经机能翻译何时及为何使用预训词嵌入?.
Page 11
<a id="S0230"></a> 解决确定代名词的复杂案例:花花岗岩计划挑战.
<a id="S0231"></a> 2012年自然语言处理和计算自然语言学习经验方法联席会议纪要,第777-789页.
<a id="S0232"></a> 计算语言学协会, 2012. [47] P.
<a id="S0233"></a> 分队:100,000+问题,用于机器理解文本.
<a id="S0234"></a> 无监督的预训,用于序列学习. arXiv preprint arXiv:1611.02683,2016. [49] (英语). M.
<a id="S0235"></a> 以能动模式高效地学习稀有的表达方式.
<a id="S0236"></a> 神经信息处理系统的进展,第1137-1144页,2007 [50] M.
<a id="S0237"></a> 半监督多任务学习,用于序列标签.
<a id="S0238"></a> 门罗. 斯多克近似法.
<a id="S0239"></a> 数学统计史料, 第400–407页, 1951. [52] T.
<a id="S0240"></a> 与神经相通的原因 arXiv preprint arXiv:1509.0664,2015 [53] R.
<a id="S0241"></a> 神经机译有分词单位的稀有词. arXiv preprint arXiv:1508.07909, 2015. [54] R.
<a id="S0242"></a> 语义成分的回溯性深层模型 比情感树库。
<a id="S0243"></a> 2013年自然语言处理经验方法会议纪要,第1631-1642页,2013 [55] 师曰.
<a id="S0244"></a> 瑞德尔 一个简单而有效的方法 故事的血浆测试。 arXiv preprint arXiv:1803.05547,2018. [56] (中文(简体) ). 师曰.
<a id="S0245"></a> 通过大规模多任务学习,学习通用分布式的句子表述. arXiv preprint arXiv:1804.00079, 2018. [57] J.
<a id="S0246"></a> 使用千兆字缩放无标签数据进行半监督相继标签和分解.
<a id="S0247"></a> ACL-08记录:HLT, 第665-673页, 2008. [58] Y.
<a id="S0248"></a> 慧来. 与自然语言推论的对等因子化相比较的平面结构. arXiv preprint arXiv:1801.00102,2017. [59] (中文(简体) ). 没错
<a id="S0249"></a> 机器理解的多程推理. arXiv预印 arXiv:1803.09074,2018. [60] J.
<a id="S0250"></a> Ecnu at semeval-2017 job 1:以内核为基础的传统nlp特征和神经网络来构建多语种和跨语言语义文字相似性的通用模型.
<a id="S0251"></a> 第11届语义学评价国际研讨会纪要(SemEval-2017),第191-197页,2017. [61]. 没错
<a id="S0252"></a> 与低资源语言合作的机会和挑战。
<a id="S0253"></a> In Advances in Neural Information Systems, pages 6000–6010, 2017. [63] P.
<a id="S0254"></a> 取出并编组带有去诺化自编码器的坚固特性.
<a id="S0255"></a> 《第25届机器学习国际会议记录》,第1096-1103页。
<a id="S0256"></a> Glue:用于自然语言理解的多任务基准和分析平台. arXiv preprint arXiv:1804.07461, 2018. [65] (中文(简体) ). A类.
<a id="S0257"></a> 语言可接受性。 http://nyu-mll.github.io/cola, 2018. [66] A.
<a id="S0258"></a> 鲍曼. 通过推论理解判决的广覆盖质疑书。
<a id="S0259"></a> 向人级机器读取理解:理性和对多种策略的推论. arXiv预印 arXiv:1711.04964,2017. 11 (英语).
Page 12
<a id="S0260"></a> 预训和微调的作用 取决于背景 dbn-hmms 现实世界语音识别.
<a id="S0261"></a> NIPS深度学习和无监督地特长学习讲习班,2010 [69] R.
<a id="S0262"></a> 分化-大脑自发编码器:由跨通道预测进行无监督学习.
<a id="S0263"></a> 在CVPR中,第1卷,第6页,2017. [70] X.
<a id="S0264"></a> 半监督学习文献调查. 2005. [71] Y.
<a id="S0265"></a> 校正书籍和电影:通过观看电影和阅读书籍,走向故事般的视觉解释.
<a id="S0266"></a> 《IEEE计算机视野国际会议记录》,第19-27页,2015年。 第12条