Published as a conference paper at ICLR 2015 NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE Dzmitry Bahdanau Jacobs University Bremen, - 全部中文论文
translated: 2026-07-16
title: "Published as a conference paper at ICLR 2015 NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE Dzmitry Bahdanau Jacobs University Bremen," aliases: - "Attention" - "arXiv:1409.0473" source: "https://arxiv.org/abs/1409.0473" arxiv: "1409.0473" created: 2026-07-16 type: paper-translation status: translated tags: - paper - ml - deep-learning - nlp
Published as a conference paper at ICLR 2015 NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE Dzmitry Bahdanau Jacobs University Bremen, - 全部中文论文
Page 1
<a id="S0001"></a> 作为会议论文发表于德国不来梅大学2015 NEURAL MACHINE TRATION LIGN and TranalLATE Dzmitry Bahdanau Jacobs University Bremen CyungHyun Cho Yoshua Bengio * Montre大学 神经机能翻译是最近提出的机器翻译方法.
<a id="S0002"></a> 与传统的统计机器翻译不同,神经机器翻译旨在建立一个单一的神经网络,可以联合调制来使翻译性能最大化.
<a id="S0003"></a> 最近提出的神经机器翻译模型往往属于编码器-解码器的家族,并将源句编码为固定长向量,从中解码器产生翻译.
<a id="S0004"></a> 在本文中,我们推测使用固定长向量是改善这种基本编码-解码器架构性能的瓶颈,并提议通过允许一个模型自动(软)地搜索源句中与预测目标词相关的部分,而不必明确地将这些部分形成硬段来扩展.
<a id="S0005"></a> 有了这一新的方法,我们实现了与现有最先进的词组系统相当的关于英语到法语翻译任务的翻译性能.
<a id="S0006"></a> 此外,定性分析表明,模型所发现的(软的)排列与我们的直觉完全一致。 导言 神经机翻译是一种新兴的机器翻译方法,最近由Kalchbrenner和Blunsom(2013年),Sutskever等人(2014年)和Cho等人(2014年b)提出.
<a id="S0007"></a> 与传统的以短语为主的翻译系统(例如见Koehn等,2003年)不同,该系统由许多分别调制的小子组件组成,神经机翻译试图构建并训练一个能读出句子并输出出正确翻译的单一而大型的神经网络.
<a id="S0008"></a> 所拟议的神经机翻译模型大多属于编码器-解码器家族(Sutskever等,2014;Cho等,2014a),每种语言都有编码器和解码器,或者涉及一个语言特有编码器适用于每个句子,然后对输出进行比较(Hermann和Blunsom,2014年)。
<a id="S0009"></a> 一个编码器神经网络将源句读取并编码为固定长向量. 一个解码器然后输出编码向量的翻译。
<a id="S0010"></a> 整个编码器-解码器系统由一对语言的编码器和解码器组成,共同训练,以尽可能地使给出源句的正确翻译概率最大化. 这种编码器–解码器方法的一个潜在问题是神经网络需要能够将源句所有必要信息压缩成固定长向量.
<a id="S0011"></a> 这可能使神经网络难以应对长刑期,尤其是比训练大纲中的刑期长的刑期.
<a id="S0012"></a> Cho等人(2014年b)表明,随着输入句子长度的增加,一个基本编码器-解码器的性能确实会迅速恶化.
<a id="S0013"></a> 为了解决这一问题,我们引入了编码器-解码器模型的扩展,该模型学习联合对齐和翻译。
<a id="S0014"></a> 每次拟议模型在翻译中生成一个单词,它(soft-)搜索源句中最相关信息集中的一组位置.
<a id="S0015"></a> 该模型随后根据与这些源位置相关的上下文向量和之前所有生成的目标词预测出一个目标词. * 科协高级研究员 1 6102 yaM 91]LC.sc [7v3740.9041:viXra
Page 2
<a id="S0016"></a> 作为会议论文发表于2015年国际法学研究中心 这种方法与基本编码器-解码器最重要的区别特征是,它并不试图将整个输入句编码为单个固定长向量.
<a id="S0017"></a> 相反地,它将输入句编码为向量的序列,并在解码翻译时根据需要选择这些向量的子集.
<a id="S0018"></a> 这使得神经翻译模型不必将源句的所有信息,无论长度如何,都挤压为固定长向量.
<a id="S0019"></a> 我们显示这可以让模型更好地应对长句.
<a id="S0020"></a> 在本文中,我们表明,拟议的联合学习以调整和翻译的方法比基本编码器-编码器方法大大提高了翻译绩效。
<a id="S0021"></a> 随着刑期的延长,这种改善更为明显,但无论刑期长短,都可以观察到。
<a id="S0022"></a> 关于从英文到法文的翻译任务,提议的方法实现了单一模式的翻译性能与传统的以短语为基础的系统相当或接近。
<a id="S0023"></a> 此外,定性分析显示,拟议模型发现源句与相应目标句在语言上是可信的(软的)相接. 2 背景:新机器传输 从概率学的角度来看,翻译相当于找到一个目标句y,使y给定源句x的条件概率最大化,即arg max p(y QX x).
<a id="S0024"></a> 在y神经机理翻译中,我们搭配了参数化模型,利用平行的训练本体来使句子对的有条件概率最大化.
<a id="S0025"></a> 一旦一个翻译模型得知了有条件的分布,给出了源句,就可以通过搜索可以使条件概率最大化的句子来生成相应的翻译.
<a id="S0026"></a> 最近,有多篇论文提议使用神经网络直接学习这种有条件的分布(如:Kalchbrenner和Blunsom,2013;Cho等,2014a;Sutskever等,2014;Cho等,2014b;Forcada和N-Q-生态,1997年)。
<a id="S0027"></a> 这种神经机翻译方法一般由两个部分组成,第一个部分编码出源句x,第二个部分解码出目标句y.
<a id="S0028"></a> 例如,(Cho等人,2014年a)和(Sutskever等人,2014年)使用了两个经常性神经网络(RNN)将可变长源句编码为固定长向量并解码为可变长目标句.
<a id="S0029"></a> 尽管是一种相当新的方法,神经机翻译已经显示出有希望的结果.
<a id="S0030"></a> Sutskever等人(2014年)报告说,基于具有长期内存(LSTM)单元的RNNs的神经机翻译在英语至法语翻译任务上接近于传统短语机翻译系统的最新性能。 例如,在现有翻译系统中添加神经元,以对短语表中的词组对分(Cho等人,2014年a),或对候选翻译进行重新排序(Sutskever等人,2014年),使得该词可以超越之前最先进的性能水平. 2.1 连胜 在此,我们简要地描述了由Cho等人(2014年a)和Sutskever等人(2014年)提出的名为RNN Encoder-Decoder的基本框架,我们在此基础上构建了一种新的结构,学会同步地对齐和翻译。
<a id="S0031"></a> 在 Encoder-Decoder 框架中,一个编码器将输入句,一个向量x=(x,-,-,x)的序列读取为向量c.2. 最常见的方法是使用RNN,这样1Tx h = f (x, h) (1)t t - 1和c = q ({h, · , h}),1Tx,其中h ∈ Rn在时间t是一个隐藏状态,而c是由t隐藏状态的序列产生的矢量. f和q是一些非线性函数.
<a id="S0032"></a> Sutskever等人(2014年)使用LSTM作为f和q({h, ·,h})=h,例如. 1 T T 1 我们指最先进的性能,即常规的以短语为基础的系统的性能而不使用任何以神经网络为基础的组件. 2个 虽然之前的大部分作品(如Cho等,2014a;Sutskever等,2014;Kalchbrenner和Blunsom,2013)曾将可变长的输入句编码为固定长向量,但没有必要,即使有可变长向量也可能有益,我们稍后会显示这一点. 2个
Page 3
<a id="S0033"></a> 作为会议论文发表于2015年国际法学研究中心 考虑到上下文矢量c和所有t(cid:48)之前预言的单词{y, ·,y},解码器经常被训练来预测下个单词y.
<a id="S0034"></a> 换句话说,解码器定义了1t(cid:48)−1的概率,通过将连通概率分解为所命令的条件来表示: T(cid:89) p(y) = p(y = {y, ·,y},c), (2)t 1t−1t= 1 (cid:0)(cid:1) 其中y=y,·,y.
<a id="S0035"></a> 使用 RNN,每个有条件的概率被模型化为1 Ty p(y | {y, · } }, y }, c } = g (y, s, c)), (3)t 1t−1t−1t,其中g是一个非线性,可能具有多层,输出 y 概率的函数,而 s 是 t t 所隐藏的 RNN 状态.
<a id="S0036"></a> 需要注意的是,其他建筑如RNN和去革命神经网络的混合体可以被使用(Kalchbrenner和Blunsom,2013年). 3 学习文学和艺术 在这一节中,我们提出神经机能翻译的新建筑.
<a id="S0037"></a> 新架构由双向RNN作为编码器(Sec. 3.2)和解码器组成,在解码翻译(Sec. 3.1)时通过源句来模拟搜索. 3.1 争端:一般解释 在新的模型架构中,我们在 Eq. (2) 中将每个条件概率定义为:y y t-1 t p (y |y,. y, x) = g (y, s, c.), (4) i 1 i− 1 i− 1 i i s s t-1 t 在时间i中为 RNN 隐藏状态,由i s = f (s, y, c. ) 计算 + i− 1 i− 1 i i i 与现有的编码器–decoder a- αt, 1 αt, T prach (参见 Eq. (2))不同,这里的概率取决于每个目标词 y 的不同 的 αt 2, αt, 3 上下文向量 c i h h 1, 3 T 上下文向量 c 取决于一个注释的序列 i (h, ·-, h), i 上下文向量 c 绘制输入句.
<a id="S0038"></a> 每个ann 1 otation T h x i 包含关于整个输入序列h 1 h 2 h 3 h T 的信息,并强烈关注x x x x 输入序列的i-th字周围的部分.
<a id="S0039"></a> 我们详细解释说明是怎样放在下一节的。
<a id="S0040"></a> 图1:图1 因此,上下文矢量ci是作为拟议模型说明hi的这些tration的加权和来计算的:试图生成 t-th 目标词y给一个源ci=(cid:88) Tx α ij h j (5)句(x 1t,x 2,.,x T.). j=1. 每个注h的重α由ij j exp (e) α = ij , (6) ij (cid:80) Tx exp (e) k = 1 ik 其中 e = a(s), h) ij i - 1 j 是一个对齐模型,该模型对位置 j 周围的输入和位置 i 相匹配的输出进行分分多好.
<a id="S0041"></a> 分数取自RNN隐藏状态 s (正前出y, Eq. (4))和输入句的i−1 i-th 注释 h. j (中文(简体) ). 我们把对接模式作为向导神经网络,与拟议系统的所有其他组成部分共同培训。
<a id="S0042"></a> 请注意,与传统机器翻译不同,3
Page 4
<a id="S0043"></a> 作为会议文件发表在2015年国际林业研究中心,调整不被认为是潜在的变量。
<a id="S0044"></a> 相反,对接模式直接计算出软对接,这使得成本函数的梯度被反向传播通过.
<a id="S0045"></a> 这种梯度可用于联合训练对接模式以及整个翻译模式.
<a id="S0046"></a> 我们可以理解的是,如果期望大于可能的对齐,那么将所有说明的加权总和作为计算预期注释的方法。
<a id="S0047"></a> 让α成为ij目标词y与源词x对齐或从源词x翻译的概率.
<a id="S0048"></a> 然后, i-th 上下文向量 i j c 是所有注释的预期注释, 并带有概率 α. ij 概率 α 或 其相关能 e , 反映了 ij ij j 对前一个隐藏状态 s 在决定下一个状态 s 和 生成 y 时的注释 h 的重要性.
<a id="S0049"></a> 直观地,i−1i i 这个在解码器中执行一种注意机制.
<a id="S0050"></a> 解码器决定部分源句注意.
<a id="S0051"></a> 通过让解码器具有注意机制,我们免除了解码器必须将源句中的所有信息编码成固定长向量的负担.
<a id="S0052"></a> 有了这种新的方法,信息就可以被分散在注释的序列中,由解码器据此有选择地取出. 3.2 国家:宣布安全情况的基本政策 Eq. (1)中描述的通常的RNN读取一个输入序列x,顺序从第一个符号x到最后一个符号x.
<a id="S0053"></a> 然而,在拟议的办法中,我们希望每个单词的注解1 Tx不仅概括前面的单词,而且概括以下单词.
<a id="S0054"></a> 因此,我们提议采用双向RNN(BIRN、Shuster和Paliwal,1997年),该NN最近成功地用于语音识别(例如见Graves等人,2013年)。 BirNN由前向和后向的RNN组成.
<a id="S0055"></a> 前置 RNN f 读取了按顺序排列的输入序列 QQ (从 x 到 x) , 并计算出前置隐藏状态的序列 ( h, ~ , h ). QX 1 Tx 1 Tx ). 后 RNN f 读取顺序为倒序(从x到x),导致后向隐藏状态(h,-,-,-,-,h.)的QX 1 序列; 通过对前向隐藏状态(h)和j j j (cid:104) → (cid:105 (cid:62)) 后向 1 h,即 h = h (cid:62); h (cid:62) 获得每个单词的注释.
<a id="S0056"></a> 这样,注解h就包含了以上词和以下词的简表jjj.
<a id="S0057"></a> 由于RNNs倾向于更好地代表最近的投入,注h将集中在x周围的单词上.
<a id="S0058"></a> 注释的这个序列jj被后来的解码器和对齐模型用来计算上下文向量(Eqs. (5)-(6)).
<a id="S0059"></a> 提议的模型图示见图1。 4 警告设置 我们评价拟议的英文至法文翻译办法。
<a id="S0060"></a> 我们使用ACL WMT ' 14.3提供的双语并列体. 作为比较,我们还报告Cho等人最近提议的RNN编码器-Decoder的性能(2014年a)。
<a id="S0061"></a> 4 4.1 DATASET WMT ' 14载有下列英法平行的corpora:Europal(61M字)、新闻评论(5.5M)、UN(421M)和两个分别由90M和272.5M字组成的爬行corpora,共计850M字。
<a id="S0062"></a> 按照Cho等人(2014年a)所述程序,我们利用Axelrod等人(2011年)的数据选择方法,将合并体的字数减少到348M个字。 我们不使用任何单一语言的数据,除了上述平行的corpora,尽管可能使用一个更大的单一语言体来预演编码器.
<a id="S0063"></a> http://www.statmt.org/wmt14/translation-task.html 互联网档案馆的存檔,存档日期2011-12-21. 4 执行情况见https://github.com/lisa-groundhog/GroundHog。 5 可上网查阅:http://www-lium.univ-lemans.fr/ schwenk/cslm joint paper/. 4
Page 5
<a id="S0064"></a> 作为会议论文发表于ICLR 2015 30 25 20 15 10 5 0 10 20 40 50 60 句子长度 erocsUELB 图2:测试集中生成的与sen-RNNsearch-50 tents长度相关的BLEU分数.
<a id="S0065"></a> 结果是在RNNsearch-30上的全测试集上,该集在-RNNenc-50中将有un-RNNenc-30已知词的句子与模型相隔. 2012年和"新闻-测试-2013"(News-test-2013)制作开发(验证)集,并评价WMT'14的测试集(news-test-2014)上的模型,其中包含3003句没有在培训数据中出现.
<a id="S0066"></a> 在通常的标志化6之后,我们使用每种语言中最常见的3万个字的短名单来训练我们的模型.
<a id="S0067"></a> 未列入入围名单的任何字被绘制为特别符号([UNK])。
<a id="S0068"></a> 我们对数据不采用任何其他特殊预处理,如降低或终止。 4.2 国防部 我们训练两种模式。
<a id="S0069"></a> 第一个是RNN编码器-Decoder(RNNCdec, Cho等,2014年a),另一个是拟议模型,我们称之为RNNsearch.
<a id="S0070"></a> 我们训练了每个型号两次:先用长度可达30个字的句子(RNNcdec-30,RNNsearch-30),再用长度可达50个字的句子(RNNCdec-50,RNNsearch-50).
<a id="S0071"></a> RNNencdec的编码和解码器每个有1000个隐藏单元. RNNsearch的编码器由前向和后向的经常性神经网络(RNN)组成,每个神经网络都有1000个隐藏单元.
<a id="S0072"></a> 在这两种情况下,我们使用一个具有单一最大输出的多层网络(Goodfellow等,2013年)隐藏层来计算每个目标词的有条件概率(Pascanu等,2014年)。
<a id="S0073"></a> 我们与Adadelta(Zeiler,2012年)一起使用一个小批量分层梯度下降(SGD)算法来训练每个模型.
<a id="S0074"></a> 每个 SGD 更新方向都是用80个句子的小批量来计算.
<a id="S0075"></a> 我们训练每个模特大约5天
<a id="S0076"></a> 一旦一个模型经过了训练,我们就会使用光束搜索来找到一个能大致最大化条件概率的翻译(例如见Graves,2012;Boulanger-Lewandowski等,2013年)。
<a id="S0077"></a> Sutskever等人(2014年)使用这种方法从他们的神经机翻译模型中生成翻译.
<a id="S0078"></a> 关于试验中所使用的模型和培训程序的结构的更详细情况,见附录A和B. 5 ResSULTS 5.1 QUANTITATIATIATIATIATIATIATIA ResULTS 在表1中,我们列出了以BLEU分数衡量的翻译性能.
<a id="S0079"></a> 从表中可以明显看出,在所有情况下,拟议的RNNsearch都超过了常规的RNNencdec。
<a id="S0080"></a> 更重要的是,RNNsearch的性能和传统的以短语为基础的翻译系统(摩西)一样高,当时只考虑由已知词组成的句子.
<a id="S0081"></a> 这是一个重大的成就,考虑到摩西除了我们用来训练RNNSearch和RNenencdec的相平行的Corpora之外,还使用了单独的单一语言体(418M字). 6我们使用了开源机器翻译包中的符号化脚本"摩西". 7 在本文中,由 " 隐蔽单位 " ,我们总是指被屏蔽的隐蔽单位(见附录A.1.1)。 页:1
Page 6
<a id="S0082"></a> 作为会议论文发表于ICLR 2015 ehT tnemeerga no eht naeporuE cimonocE erA saw dengis ni tsuguA 2991. > dne < 欧洲经济区协议 a été signé en au-t 1992. > 结束。 tI dluohs eb deton teht eniram tenimnorivne si etht sael nwonk fo stnemnnorivne. > dne < Il convient de noer que l'environment marin est le moins connu de l'environment. > (a) (b) noitcurtseD fo eht tneimpiuqe snaem taht airyS nac on regnol ecudorp wen lacimehc snopaew. >dne < La de de l' équiment signifie que la Syrie ne peut + produire de Newa arms chimiques. > end > " sihT liht egnahc ym erutuf htiw ym ylimaf " , " eht nam dias. > dne < Cela va changer mon avenir avec ma famille " ,一个dit l'human. < end > (c) (d) 图3:RNSearch-50发现的4个样本对齐。
<a id="S0083"></a> 每个情节的x轴和y轴分别对应出源句(英语)和生成的译名(法语)中的单词.
<a id="S0084"></a> 每个像素都显示为i-th ij目标单词的j-th源词注释的重α(参见Eq. (6)),以灰度(0:黑色,1:白色)表示. (a)任意的句子. (b-d)在句子中随机抽取出三个样本,没有任何未知的字,从测试集中抽取出长度为10到20个字.
<a id="S0085"></a> 拟议方法的动机之一是在基本编码器-解码器方法中使用固定长度上下文矢量。
<a id="S0086"></a> 我们猜想,这种限制可能使基本的编码器-解码器方法在长句子的情况下表现不佳。
<a id="S0087"></a> 在图2中,我们看到RNNencdec的性能随着刑期的延长而急剧下降.
<a id="S0088"></a> 另一方面,RNNsearch-30和RNNsearch-50都比句子长度更强.
<a id="S0089"></a> RNNsearch - 50,特别是,即使长度在50分或50分以上,也没有显示性能恶化.
<a id="S0090"></a> 拟议的模型优于基本编码器-解码器进一步证实了RNNsearch-30甚至优于RNNencdec-50(见表1)。 6个
Page 7
<a id="S0091"></a> 作为会议文件发表于ICLR 2015 表1:经培训的模型的BLEU分数
<a id="S0092"></a> 第二栏和第三栏分别列出所有句子的分数,以及无任何未知词的句子的RNNencdec-30 13.93 24.19 -- -- RNNsearch-30 21.50 31.44本身和参考翻译。
<a id="S0093"></a> 注意RNNencdec-50 17.82 26.71 RNNsearch-50(cid:63) 训练时间要长得多,直到RNNsearch-50 26.75 34.16 开发套装的性能停止即兴-RNNsearch-50(cid:63 28.45 36.15 ing. (◦) 我们拒绝模型生成[UNK]摩西 33.30 35.63 令牌,当时只评价了没有未知词的句子(上一栏). 5.2 定性分析 5.2.1 拟议的方法提供了一种直观的方法,可以检查生成的译文中的单词与源句中的单词之间的(软)相接.
<a id="S0094"></a> 如图3所示,这是通过可视化Eq. (6)中α的注释权重来实现的。
<a id="S0095"></a> 每个图中的一行矩阵都表示与注释相联的权重ij.
<a id="S0096"></a> 由此可见,在生成目标词时,源句中哪些立场被认为更为重要.
<a id="S0097"></a> 从图3中的对接中可以看出,英语和法语的对接基本上是单调的.
<a id="S0098"></a> 我们看到每个基质的对角线上有很强的分量。
<a id="S0099"></a> 然而,我们也观察到一些非三角性,非莫诺式的对接.
<a id="S0100"></a> 形容词和名词一般在法语和英语之间顺序不同,我们在图3(a)中看到一个例子.
<a id="S0101"></a> 从这个图中,我们看到模型正确地将一个短语[欧洲经济区]翻译为[zone e'conomique Europe'en].
<a id="S0102"></a> RNNsearch能够正确地将[zone]与[Area]对齐,跳出两个单词([欧]和[经济]),然后一次翻出一个单词来完成整个短语[zone e'conomique Europe'enne].
<a id="S0103"></a> 例如从图3(d)可以看出,软调的强度,反对硬调。
<a id="S0104"></a> 想想被译为 " 人 " 的源词。
<a id="S0105"></a> 任何硬调将映射到[我]和[人 。
<a id="S0106"></a> 这对翻译没有帮助,因为人们必须考虑后面的词,以确定应将其译成[le]、[la]、[les]或[l ' 。
<a id="S0107"></a> 我们的软调自然地解决了这个问题,让模型同时观察[人]和[人],在这个例子中,我们看到模型能够将[人]正确翻译为[l'.
<a id="S0108"></a> 在图3中,我们看到所有提交的案件都有类似行为。
<a id="S0109"></a> 软对接的另一个好处是,它自然地处理不同长度的源和目标短语,而不需要反直观的方式将一些单词映射入出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出入出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出入出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出 5.2.2 长期传感器 从图2可明显看出,拟议模型(RNNsearch)在翻译长句时比常规模型(RN Nencdec)要好得多.
<a id="S0110"></a> 这可能是由于RNNsearch并不要求将长句编码成一整段的固定长向量,而只是精确地编码了输入句中围绕特定词的部分.
<a id="S0111"></a> 例如,从测试集中考虑这一源句: 承认的特权是,医生有权根据病人在医院的保健工作者的身份,将病人送入医院或医疗中心进行诊断或程序。
<a id="S0112"></a> RNNenencdec-50将这句话译为: " 不得优先承认我的权利 " 。 第7条
Page 8
<a id="S0113"></a> 以会议论文发表于ICLR 2015 The RNNencdec-50 正确翻译出源句至[一个医疗中心].
<a id="S0114"></a> 然而,从此(下划线),它偏离了源句的原始含义.
<a id="S0115"></a> 例如,它[根据他在医院的保健工作者身份]在来源句中取而代之的是[根据他的健康情况]。
<a id="S0116"></a> 另一方面,"RNNsearch-50"生成了以下正确的翻译,保留了输入句的全部含义而不会省略任何细节: 以我为中心,
<a id="S0117"></a> 我们再考虑一下试验集中的一句: 他补充说,这种经验是迪士尼努力“延长其系列的寿命并通过日益重要的数字平台与观众建立新的关系”。
<a id="S0118"></a> 由RNNencdec-50翻译为“Dexpe'rance既成部分,
<a id="S0119"></a> 与前一个例子一样,RNNencdec在生成了大约30个单词(见下划线短语)后,开始偏离源句的实际含义.
<a id="S0120"></a> 之后翻译质量恶化,缺少收尾引号等基本错误.
<a id="S0121"></a> 同样,RNNsearch-50能够正确翻译出这句长句: 迪士尼的努力“通过板块形式促进公众关系”“一提,
<a id="S0122"></a> 结合已经提出的定量结果,这些定性观测证实了我们的假设,即RNNsearch架构能够比标准RNNencdec模型更可靠地翻译长句.
<a id="S0123"></a> 在附录C中,我们提供了更多由RNNencdec-50,RNNsearch-50和Google Translate以及参考翻译产生的长源句的样本翻译. 6 相关工作 6.1 学习自治 最近格雷夫斯(2013年)在笔迹合成方面提出了类似的将输出符号与输入符号相匹配的方法.
<a id="S0124"></a> 手写合成是要求模型生成给定字符序列的笔迹的任务.
<a id="S0125"></a> 在他的作品中他使用高斯内核的混合物来计算注释的分量,其中每个内核的位置,宽度和混合系数都是从一个对齐模型来预测的.
<a id="S0126"></a> 更具体地说,他的对接被限制在预测位置,以至于位置单调地增加.
<a id="S0127"></a> 与我们的方法的主要区别在于,在(Graves,2013年)中,注释的权重模式只朝一个方向移动.
<a id="S0128"></a> 在机器翻译方面,这是一个严重的限制,因为(长途)重排经常需要生成语法上正确的翻译(例如英语对德语).
<a id="S0129"></a> 另一方面,我们的方法需要计算出源句中每个词对翻译中每个词的注释权重.
<a id="S0130"></a> 这种缺点并不严重,因为翻译任务中大多数输入和输出句子只有15–40个字.
<a id="S0131"></a> 然而,这可能会限制拟议办法对其他任务的适用。 第8条
Page 9
<a id="S0132"></a> 作为会议论文发表于ICLR 2015 6.2 NEURAL NETWORKS for MACHINE TRANSLATION Since Bengio等(2003年),引入了神经概率语言模型,使用神经网络对给定了上个词数的词的有条件概率进行模型,神经网络在机器翻译中被广泛使用.
<a id="S0133"></a> 然而,神经网络的作用基本上仅限于简单地为现有的统计机器翻译系统提供一个单一的功能,或者重新排列现有系统提供的候选翻译名单.
<a id="S0134"></a> 例如,Schwenk(2012年)提议使用向上神经网络来计算一对源和目标短语的得分,并将得分作为基于短语的统计机器翻译系统中的附加功能.
<a id="S0135"></a> 最近,Kalchbrenner和Blunsom(2013年)和Devlin等人(2014年)报告说,成功地利用神经网络作为现有翻译系统的分组成部分。
<a id="S0136"></a> 传统上,一个作为目标边语言模型而训练的神经网络被用来重新记录或重新排列候选翻译名单(例如见Schwenk等,2006年)。
<a id="S0137"></a> 尽管上述方法显示出来比最先进的机器翻译系统来改进翻译性能,但我们更感兴趣的是更雄心勃勃的目标是设计一个基于神经网络的全新翻译系统.
<a id="S0138"></a> 因此,本文中我们所考虑的神经机翻译方法与这些早期的作品是根本的背离.
<a id="S0139"></a> 我们的模型与其使用神经网络作为现有系统的一部分,不如自己工作,直接生成源句的翻译. 7 结论 常规的神经机翻译方法,称为编码器–解码器方法,将整个输入句子编码为固定长向量,从中解码出翻译.
<a id="S0140"></a> 根据Cho等人(2014年b)和Pouget-Abadie等人(2014年)最近报告的一项经验研究,我们推测使用固定长的上下文向量对翻译长句有问题。
<a id="S0141"></a> 在这份文件中,我们提出了一个解决这一问题的新结构。
<a id="S0142"></a> 我们扩展了基本的编码器-解码器,让模型(soft-)在生成每个目标词时搜索一组输入词,或用编码器计算的注释。
<a id="S0143"></a> 这让模型不必将整个源句编码成固定长向量,也让模型只关注与下一个目标词生成有关的信息.
<a id="S0144"></a> 这对神经机器翻译系统在较长的句子上产生良好效果的能力有着重大的积极影响.
<a id="S0145"></a> 与传统机器翻译系统不同的是,翻译系统的所有部分,包括校正机制,都经过了联合培训,以提高生成正确翻译的日志可能性.
<a id="S0146"></a> 我们测试了拟议的模型,称为RNNsearch, 以完成英文到法文的翻译任务。
<a id="S0147"></a> 实验显示,无论句子长度如何,拟议的RNNSearch都大大地超过了常规编码器-解码器模型(RNNCdec),并且对源句长度来说更强.
<a id="S0148"></a> 从我们调查了RNNsearch产生的(软-)对齐的定性分析中,我们得出了这样的结论,即该模型能够正确地将每个目标词与源句中的相关词,或其说明相配合,因为它产生了正确的翻译.
<a id="S0149"></a> 也许更重要的是,拟议方法实现了与现有的以短语为基础的统计机器翻译相类似的翻译绩效。
<a id="S0150"></a> 考虑到拟议的建筑,或者整个神经机器翻译家族,直到今年才提出,这是一个引人注目的结果.
<a id="S0151"></a> 我们认为,这里提出的结构是朝着更好的机器翻译和更好地理解一般自然语言迈出的有希望的一步。
<a id="S0152"></a> 未来遗留的挑战之一是更好地处理未知或罕见的文字。
<a id="S0153"></a> 这将需要使模型得到更广泛的使用,并匹配当前最先进的机器翻译系统在所有情况下的性能. 第9条
Page 10
<a id="S0154"></a> 作为会议论文发表于ICLR 2015 ACKNOWLDGMENTS 提交人感谢Theano的开发者(Bergstra等人,2010年;Bastien等人,2012年)。
<a id="S0155"></a> 我们赞赏下列机构对研究资金和计算支持的支持:NSERC、Calcul Que'bec、计算加拿大、加拿大研究主席和CIFAR。
<a id="S0156"></a> Bahdanau感谢星球智能系统GmbH的支持.
<a id="S0157"></a> 我们还感谢费利克斯·希尔、巴特·范梅里·恩博尔、让·普盖特-阿巴迪、科琳·德文和泰浩·金。
<a id="S0158"></a> 参见Axelrod,A.,He,X.和Gao,J.(2011年).
<a id="S0159"></a> 通过伪域内数据选择进行域内修改.
<a id="S0160"></a> ACL自然语言处理经验方法会议记录,第355-362页。
<a id="S0161"></a> 计算语言学协会.
<a id="S0162"></a> Bastien, F., Lamblin, P., P., Pascanu, R., Bergstra, J., Goodfellow, I. J., Bergeron, A., Bouchard, N., and Bengio, Y.(2012).
<a id="S0163"></a> 西亚诺:新特征和速度改进.
<a id="S0164"></a> 深度学习与无监督的特色学习 NIPS 2012研讨会.
<a id="S0165"></a> Bengio, Y., Simard, P., and Frasconi, P.(1994年).
<a id="S0166"></a> 学习具有梯度下降的长期依赖性是困难的。
<a id="S0167"></a> IEEE交易在神经网络,5(2),157–166.
<a id="S0168"></a> Bengio, Y., Ducharme, R., Vincent, P.,和Janvin, C. (2003年). 神经概率语言模型. J.
<a id="S0169"></a> Bergstra, J., Breuleux, O., Bastien, F., Lamblin, P., P., Pascanu, R., Desjardins, G., Turian, J., Warde-Farley, D., Bengio, Y.(2010).
<a id="S0170"></a> Theano:一个CPU和GPU数学表达式编译器.
<a id="S0171"></a> 在Python科学计算会议的议事录(SciPy)中.
<a id="S0172"></a> Boulanger-Lewandowski, N., Bengio, Y., and Vincent, P. (2013年).
<a id="S0173"></a> 音频和弦识别与经常性神经网络.
<a id="S0174"></a> Cho, K., van Merrienboer, B., Gulcehre, C., Bougares, F., Schwenk, H.,和 Bengio, Y. (2014a).
<a id="S0175"></a> 使用 RNN 编码器-解码器进行统计机器翻译的学习短语表达.
<a id="S0176"></a> 《自然语言处理实验方法记录》(EMNLP,2014年)。 出现。
<a id="S0177"></a> Cho、K.、van Merrie'nboer、B.、Bahdanau、D.和Bengio,Y.(2014年b)。
<a id="S0178"></a> 关于神经机器翻译的属性: Encoder-Decoder 方法.
<a id="S0179"></a> 第八次统计翻译的语法、语义和结构讲习班。 出现。
<a id="S0180"></a> 德夫林,J.,兹比布,R.,黄克,Z.,拉马尔,T.,施瓦茨,R.,和马克胡尔,J.(2014).
<a id="S0181"></a> 快速而有力的神经网络联合模型,用于统计机器翻译.
<a id="S0182"></a> 在计算语言学协会。
<a id="S0183"></a> Forcada, M. L.和N. 生态,R. P. (1997年)。
<a id="S0184"></a> 递归异体-关联记忆作翻译.
<a id="S0185"></a> Cabestany,编辑,生物和人工计算:从神经科学到技术,计算机科学讲座说明 第1240卷,第453-462页.
<a id="S0186"></a> Goodfellow, I., Warde-Farley, D., Mirza, M., Courville, A.,和 Bengio, Y.(2013).
<a id="S0187"></a> 《第三十届机器学习国际会议记录》,第1319-1327页。
<a id="S0188"></a> 序列传递与反复出现的神经网络.
<a id="S0189"></a> 第29届机器学习国际会议记录(ICML 2012).
<a id="S0190"></a> 以反复出现的神经网络生成序列. arXiv:1308.0850 [cs.NE] (中文(中国大陆) ).
<a id="S0191"></a> Graves, A., Jaitly, N., 和Mohamed, A.-R. (2013).
<a id="S0192"></a> 具有深双向LSTM的混合语音识别.
<a id="S0193"></a> 《自动语音识别和理解》(ASRU),2013年,IEEE讲习班,第273-278页。
Page 11
<a id="S0194"></a> 作为会议论文发表于ICLR 2015 Hermann, K. and Blunsom, P. (2014).
<a id="S0195"></a> 多语种分布式表述,不进行字词对接.
<a id="S0196"></a> 《第二届国际学习代表会议记录》(ICLR,2014年)。
<a id="S0197"></a> (原始内容存档于2017-10-21). Untersuchungen zu dynamischen neuralen Netzen.
<a id="S0198"></a> Lehrstuhl教授信息学院文凭论文。
<a id="S0199"></a> Brauer, 技术大学 Mu'nchen.
<a id="S0200"></a> Hochreiter, S. and Schmidhuber, J. (1997年).
<a id="S0201"></a> 卡尔克布伦纳,N.和布伦索姆,P.(2013).
<a id="S0202"></a> 经常性连续翻译模式.
<a id="S0203"></a> ACL关于自然语言处理经验方法的会议记录,第1700-1709页。
<a id="S0204"></a> 计算语言学协会.
<a id="S0205"></a> 美国纽约州纽约剑桥大学出版社.
<a id="S0206"></a> Koehn, P., Och, F. J.和Marcu, D.(2003年)。
<a id="S0207"></a> 人类语言技术计算语言学协会北美分会2003年会议记录 -- -- 第1卷,NAACL ' 03, 第48-54页,美国PA Stroudsburg。
<a id="S0208"></a> 计算语言学协会.
<a id="S0209"></a> Pascanu, R., Mikolov, T.,和 Bengio, Y. (2013年a).
<a id="S0210"></a> 关于经常性神经网络训练的难度.
<a id="S0211"></a> Pascanu, R., Mikolov, T.,和 Bengio, Y. (2013年b).
<a id="S0212"></a> 关于经常性神经网络训练的难度.
<a id="S0213"></a> 第30届机器学习国际会议记录(ICML 2013).
<a id="S0214"></a> Pascanu, R., Gulcehre, C., Cho, K.,和 Bengio, Y. (2014).
<a id="S0215"></a> 如何构建深层反复神经网络.
<a id="S0216"></a> 《第二届国际学习代表会议记录》(ICLR,2014年)。
<a id="S0217"></a> Pouget-Abadie、J.、Bahdanau、D.、van Merrie'nboer、B.、Cho、K.和Bengio,Y.(2014)。
<a id="S0218"></a> 克服用自动分解方式翻译神经机的句子长度的诅咒.
<a id="S0219"></a> 第八次统计翻译的语法、语义和结构讲习班。 出现。
<a id="S0220"></a> 双向循环神经网络.
<a id="S0221"></a> 信号处理,IEEE交易于45(11),2673–2681.
<a id="S0222"></a> 基于短语的统计机器翻译的连续空间翻译模型.
<a id="S0223"></a> Boitet编辑,第24届计算语言学国际会议记录,第1071-1080.
<a id="S0224"></a> Schwenk, H., Dchelotte, D., and Gauvain, J.-L.(2006年).
<a id="S0225"></a> 统计机器翻译的连续空间语言模型.
<a id="S0226"></a> 《关于主要会议海报的会议的会议记录》,第723-730页。
<a id="S0227"></a> 计算语言学协会.
<a id="S0228"></a> Sutskever, I., Vinyals, O., and Le, Q. (2014). (原始内容存档于2014年9月20日).
<a id="S0229"></a> 与神经网络同步学习的顺序.
<a id="S0230"></a> 在神经信息处理系统的进步(NIPS 2014).
<a id="S0231"></a> ADADELTA:适应性学习率方法。
Page 12
<a id="S0232"></a> 2015年以会议论文发表 第3节中的拟议办法是一个一般框架,人们可以自由地界定经常神经网络的激活功能f和对齐模式a。
<a id="S0233"></a> 在这里,我们描述了我们对本文中的实验所作的选择。 A.1.1 新的新网络 对于一个RNN的活化功能f,我们使用Cho等人最近提出的有门的隐藏单元(2014a).
<a id="S0234"></a> 入门隐蔽单元是常规简单单元的替代物,如元素取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取出取的取出取出取出取出取出取出取出取出取出取
<a id="S0235"></a> 这个有门的单元类似于霍克赖特和施密德胡伯(Schmidhuber (1997))早些时候提出的一个长期短期内存(LSTM)单元,与它分享更好的模型和学习长期依赖的能力.
<a id="S0236"></a> 通过在已展开的RNN中拥有计算路径,使衍生物的产物接近于1的计算路径成为可能.
<a id="S0237"></a> 这些路径使梯度容易向后流动,而不会因消失效应而承受太多的痛苦(Hochreiter,1991年;Bengio等,1994年;Pascanu等,2013年a)。
<a id="S0238"></a> 因此,可以使用LSTM单元,而不是本文所描述的有门隐藏单元,正如Sutskever等人(2014年)在类似背景下所做的那样。
<a id="S0239"></a> 使用n门隐藏单元8的RNN新状态由i s = f (s, y, c) = (1 - z) = (1 - z) = + z = (1 - 1 i - 1 i - 1 i) i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i s i i i i i i i i i i i i i i s i i i i i i i i i i i i i i i i s i i i i i i i i i i i i i i i i i i i i i i i i i i i i i
<a id="S0240"></a> i建议的更新状态 s 由 i s = tanh (W e (y) + U [r ◦ s] + Cc )计算, i− 1 i− 1 i− 1 i i i i 其中 e (y) → Rm 是一个单词 y 的 m-维嵌入,r 为 i− 1 i− 1 i 重置门的输出(见下文).
<a id="S0241"></a> 当y以 1-K 向量表示时,e(y) 仅仅是 i 嵌入矩阵 E → Rm×K 的一列.
<a id="S0242"></a> 只要有可能,我们都会省略偏差的术语,使等式变得不那么杂乱.
<a id="S0243"></a> 更新门 z 允许每个隐藏单元保持其先前的激活,而重设门 r i 控制了从先前状态中应重置多少和哪些信息.
<a id="S0244"></a> 我们以 z = (W e(y) + U s + C c) 计算它们,i z i− 1 → 1 → 1 → r = σ (W e(y) + U s + C C c),i r− 1 r− 1 r i 在 σ 为后勤 sigmoid 函数的地方.
<a id="S0245"></a> 在解码器的每个步骤上,我们计算出输出概率(Eq. (4))为多层函数(Pascanu等,2014年).
<a id="S0246"></a> 我们使用一个单层隐藏出最大单位(Goodfellow等,2013年),并将输出概率(每个单词一个)与软最大函数正常化(见Eq.(6)). A.1.2 租赁模式 配对模型的设计应考虑到,需要对每对句子长度T和T的TxTxy乘以评价该模型。
<a id="S0247"></a> 为了减少计算,我们使用一个单x y 层多层受体,使 a(s, h) = v(cid:62) tanh(W s + U h), i− 1 j a i− 1 a j 在 W → Rnxn, U → Rnx2n 和 v → Rn 为权重矩阵.
<a id="S0248"></a> 由于Uh不是一个j依赖于i,我们可以提前预先计算以将计算成本降到最低. 8 在这里,我们显示解码器的公式.
<a id="S0249"></a> 同样的公式可以在编码器中被简单地忽略上下文矢量c和相关术语. i 12个
Page 13
<a id="S0250"></a> 作为会议论文发表于ICLR 2015 A.2 DETAILD DESCION MODEL A.2.1 ENCODER 在本节中,我们详细描述了实验中使用的拟议模型(RNNsearch)的结构(见Sec. 4-5)。
<a id="S0251"></a> 从这里开始,我们省略了所有的偏差术语,以提高可读性.
<a id="S0252"></a> 该模型取出1-of-K编码字向量的源句为输入x=(x,.x),x-Q-RKx 1 Tx i并输出1-of-K编码字向量y=(y,.,.y),y-Q-RKy,1 Ty i分别是源语言和目标语言的词汇大小. T和T xy x y分别表示源句和目标句的长度.
<a id="S0253"></a> 首先,双向常年神经网络(BIRN)的前期状态是计算: (cid:40) →−(Cid:40) →−(Cid:40) →− (1-z) ◦(h) + z ◦ (h) 如果i > 0 h (i-1) i-i (i) i (i) → 0 如果i → (cid:16) −→ (cid:104) → →− (cid:105)(cid:17) h = tanh W Ex + U r i i- 1→− (cid:16) −→ (cid:17) z (z) + U hi i i- 1→− (cid:16) → →− (cid:17) r → =σ (i) + U h i- i- 1) → (cid: ) + + + + + → (cid: ) + + + + + + + + + + W, W z, W r ∈ Rn×m, U, U z, U r ∈ Rn×n 是重量矩阵. m和n分别是嵌入维度和隐藏单位的数目。\ (\) 和通常的逻辑 sigmoid 函数一样。 ←− 落后国家(h, )的计算方式类似。
<a id="S0254"></a> 我们分享前向和后向的RNNs之间嵌入矩阵1Tx E的单词,与重量矩阵不同.
<a id="S0255"></a> 我们召集前方和后方各州获得说明(h, h, ), 1 2 Tx 在哪里(cid:34) →− (cid:35) h i = ←− i (7) h A.2.2 DECODER 从编码器中给出的解码器的隐藏状态 s由i s = (1 − z ) ◦ s + z s i i i i i i i i i i i = tanh (W Ey + U [r ◦ s] + Cc ) i- 1 i- 1 i- i- i- i- i i- i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i 克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克.
<a id="S0256"></a> 同样,m和n分别是嵌入维度zr的单词和隐藏单位的数量.
<a id="S0257"></a> 初始隐藏状态 s由 s = 0 (cid:16) → (cid:17) tanh Wh 计算出,其中 W → Rn×n. s 1 s 上下文矢量 c 由对齐模型逐步重算 i (cid:88) Tx c = α h, i j j = 1 13
Page 14
<a id="S0258"></a> 作为会议论文发表于ICLR 2015 Model Updates (x105) Epochs Hours GPU Train NLL Dev.
<a id="S0259"></a> NLL RNenc-30 8.46 6.4 109 TITAN BLACK 28.1 53.0 RNNenc-50 6.00 4.5 108 Quadro K-600 44.0 43.6 RNNSearch-30 4.71 3.6 TITAN BLACK 26.7 47.2 RNSearch-50 2.8 111 Quadro K-600 40.7 38.1 RNNSearch-50(Cid:63) 6.67 5.0 252 Quadro K-600 36.7 35.2 表2:学习统计和相关信息。
<a id="S0260"></a> 每次更新都对应一次使用单个小批量来更新参数.
<a id="S0261"></a> 一个时代就是通过训练
<a id="S0262"></a> NLL是训练集或开发集中句子的平均条件对数概率.
<a id="S0263"></a> 注意句子长度不同. 其中exp (e) α = ij ij (cid:80)Tx exp (e) k = 1 ik e =v(cid:62) tanh (W s + U h),ij a a i− 1 a j和h是源句中j-th的注释(见Eq. (7)). v → Rn(cid:48), W → Rn(cid:48)×n和 j a U → Rn(cid:48)×2n 为权重矩阵.
<a id="S0264"></a> 注意,如果我们将 c 改为 h. i Tx,该模型将成为 RNN Encoder-Decoder(Cho a 等.,2014年a) 以解码器状态 s,上下文 c和最后一个生成的单词 y,我们定义目标单词 y 的概率 i− 1 i− 1 i− 1 作为 i p (y s, y, c) ∝ exp (cid:0) y (cid:62) W t (cid:1), i i− 1 i i i i i o i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i i - i i i - i i i - i i - - i i i → → rky xl i (cid: i i i i
<a id="S0265"></a> 这可被理解为具有深层输出(Pascanu等,2014年),具有单一最大输出隐藏层(Goodfellow等,2013年)。 A.2.3 模德·西泽 对于本文使用的所有模型,隐藏层n的大小为1000个,嵌入维度m的单词为620个,深输出l中最大出隐藏层的大小为500个.
<a id="S0266"></a> 对齐模式n(cid:48)中隐藏的单位数为1000. B. 训练程序 B.1 我们初始化了经常重量矩阵 U, U, U, U, U, U, U, U, U 和 U ,作为随机的orz r r r r r r rogonal矩阵.
<a id="S0267"></a> 对W和U来说,我们从高斯山脉的每个元素取样,初始化了它们。
<a id="S0268"></a> V的所有元素和所有偏差向量都被Inia tial化为零.
<a id="S0269"></a> 任何其他重量矩阵都通过从高斯分布的平均值为0和差异为0.012的取样而初始化。 B.2 培训 我们用的是斜向梯度下降算法。
<a id="S0270"></a> Adadelta (Zeiler, 2012) 用于自动调整每个参数的学习率((cid:15)=10-6和 ^ 0.95).
Page 15
<a id="S0271"></a> 作为会议文件发表于ICLR 2015年,将每次成本函数梯度的L-规范正常化,最多达到预先界定的2个阈值为1,当规范大于阈值(Pascanu等人,2013年b)。
<a id="S0272"></a> 每个SGD更新方向都是用80个句子的小批量来计算.
<a id="S0273"></a> 每次更新我们的执行需要时间 与小批量中最长刑期的长度成正比
<a id="S0274"></a> 因此,为了尽量减少计算上的浪费,在每20次更新之前,我们检索出1600个句子对,按照长度进行分类,并分成20个小管.
<a id="S0275"></a> 培训数据在培训前被洗刷过一次,并依次以这种方式进行。
<a id="S0276"></a> 在表2中,我们提出了与培训实验中使用的所有模型有关的统计。 远距离传感器的转换 承认的特权是,医生有权根据病人在医院的保健工作者的身份,将病人送入医院或医疗中心进行诊断或程序。
<a id="S0277"></a> 参考文献 以我为中心,
<a id="S0278"></a> RNNenc-50 (韩语) 我决定要耐心地接受医院的诊断,
<a id="S0279"></a> RNNSearch - 50 (韩语) 以我为中心,
<a id="S0280"></a> 谷歌 以我为中心,
<a id="S0281"></a> 来源 他补充说,这种经验是迪士尼努力“延长其系列的寿命并通过日益重要的数字平台与观众建立新的关系”。
<a id="S0282"></a> 参考文献 迪士尼的干部们的努力 ” 。 。 。
<a id="S0283"></a> RNNenc-50 (韩语) 迪士尼倡议的参与者,
<a id="S0284"></a> RNNSearch - 50 (韩语) 迪士尼的努力“通过板块形式促进公众关系”“一提,
<a id="S0285"></a> 谷歌 迪士尼努力的“新时代和新时代关系解释”,载于“E'endre la dure'e vie de sa se'rie and translate construction de neual relations avec le public le biais nume'riques qui devienennt de plus en plus important'。
<a id="S0286"></a> 来源 Blair先生在星期四的新闻发布会上说,这段录像中没有任何内容构成可能导致对市长提出刑事指控的“合理动机”。
<a id="S0287"></a> 参考文献 (原始内容存档于2018-05-25). Enfe'rence de presse, jeudi, M.
<a id="S0288"></a> Blair表示,
<a id="S0289"></a> RNNenc-50 (韩语) (原始内容存档于2018-10-21) (英语). Lors de la confe'rence de presse de jeudi, M.
<a id="S0290"></a> Blair是一位“动机合理”的领袖,
<a id="S0291"></a> (原始内容存档于2019-03-25) (英语). RNNsearch-50 Lors d'une confe'rence de presse jeudi, M.
<a id="S0292"></a> Blair a de'claire' qu 'il n'y avait rien dans vide'o qui qui pourrait constituer un " motif 无理 " qui pourrait condure a " des criminelles against le maire " 。 黑手党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党党
<a id="S0293"></a> Google Lors d'une confe'rence de presse jeudi, M. 互联网档案馆的存檔,存档日期2013-12-22., p.
<a id="S0294"></a> Blair a'clare' qu ' il n'y avait rien dans cette vido Translate qui pourrait constituer un " motif 无理" qui pourrait mener a " des criminelles portes against le maire. " ("犯罪港站"),"犯罪港站"。
<a id="S0295"></a> 表3:RNNenc-50和RNNsearch-50从从测试集中选取的长源句(30个字或以上)所生成的翻译.
<a id="S0296"></a> 对于每个源句,我们也展示了"金标准"的翻译.
<a id="S0297"></a> Google Translate的翻译于2014年8月27日完成. 15个