通常的RNN计算式(1)时会从x₁依次读取到x_Tx完成序列X的输入.但是,本研究希望每个单词的注释不仅总结前面的单词,而且总结后面的单词.因此编码器使用m个堆叠的LSTM层生成,隐层向量h^k_j(k=1,2,…,m),具体计算如下所示:

h^k_j=LSTM(h^k_j-1,h^k-1_j),(2)

其中如果k=1,则h^k-1_j=x_j,x_j为词x_j的向量表示.

解码器根据y_j上的上下文向量c_j计算输出概率p(y_j|y_{< j},X; θ),θ在不同的时间步长使用不同的上下文向量c_j,最终y_j的输出概率为

P(y_j|y_<j,X; θ)=softmax([t_j-1

d_j

c_j]),(3)

其中,t_j-1是j-1时刻目标词的嵌入,d_j为j时刻编码器端的隐藏状态.其中d_j的计算公式为

d_j=LSTM(d_j-1,[t_j-1

c_j]; θ_j-1).(4)

注意力机制将上下文向量c_j计算为源注释的加权和:

c_j=∑^l_i=0α_jih_j.(5)

其中,h_j=[h¹_j,h²_j,…,h^m_j],注意力机制权重的计算式如下:

α_ji=(exp(e_ji))/(∑^l_i=1exp(e_ji)),(6)

e_j=v^T_atanh(W_ad_j-1+U_ah^k_j),(7)

其中,v_a、W_a和U_a是注意力机制的权重矩阵, e_j在注意力机制模型中能够平衡d_j-1和h^k_j.使用这种策略,解码器可以处理在给定时间内最相关的源语句.

Transformer模型^[10]仅依赖于注意力机制,也采用了编码器-解码器架构,但其结构相比于注意力更加复杂,其中编码端由6个编码器堆叠在一起,解码端也一样.每个编码器包含两层:一个自注意力层和一个前馈神经网络,自注意力能帮助当前节点不仅仅只关注当前的词,从而能获得上下文的语义.每个解码器也包含编码器提到的两层网络,且在这两层中间还有一层注意力层,帮助当前节点获得当前需要关注的重点内容.

在通用序列建模中,自注意力是一种强有力的机制.本文提出的模型(RNN*Self-Attention)在RNNSEARCH的解码端引入Transformer中解码器的自注意力.解码器完全使用注意力机制不仅能够在不同的神经层之间传递信息,实现一个多层注意力机制的神经网络翻译模型,而且能更好地处理序列过长问题; 并且自注意力能够计算每一个词之间的注意力.捕获更多的原文信息.如图1所示:

混合多策略架构是一个层次结构序列到序列的模型,通过在不同的粒度级别即音节、词语、音词融合上进行训练作为对比实验.

图1 RNN*Self-Attention的编码器-解码器网络模型
Fig.1 Encoder-decoder network model of RNN*Self-Attention

在藏汉翻译任务中,本文对比了第1节中3种不同的NMT模型,采用4种不同切分策略分别训练,在表2的3种测试集上进行测试,结果表明:

1)以音节为切分粒度训练时,3种模型的翻译效果最差,BLEU值均低于15%.这是由于在藏语中不加其他任何规则或限制条件按照分割符“·”进行切分时,失去了其语义信息,无法保留原文所表达的信息,同时引入不少的噪声.同样地,汉语按照字符进行切分也会失去原文所携带的语义信息,无法对应藏语中相应的译文,导致双语平行语料无效,所以NMT无

表3 藏汉双向翻译模型测试结果
Tab.3 Test results of Tibetan-Chinese bidirectional translation models

法在平行语料中学习语义特征,导致训练不佳.

2)以词语为切分粒度进行训练的效果明显优于以音节为切分粒度的.因为在词语级别上能够相对稳定地保留原文的语义信息,同时能够较好地在双语句对中找到对应的平行词语,有助于NMT获取更多的信息以及保留更多的语义特征.本文提出的RNN*Self-Attention模型在3个测试集上采用词语级别训练时BLEU值均有明显提升,与RNNSEARCH模型在2017_dev和2018_test测试集上的BLEU值相比,分别提升了0.59和0.47个百分点.

3)当把2种语言分词后按照普通的子词切分方式处理训练时,同样也能提升翻译质量,3种模型在不同的测试集上都有所提升.

4)按音词融合切分策略进行训练时,相比于词语级别和子词级别3个模型的BLEU值均有明显提升.如与子词级别相比,本文提出的模型采用音词融合切分策略在3种测试集上的BLEU值分别提升了2.08,1.22和2.99 个百分点.可见本文提出的音词融合方法能够有效提升译文质量.

在3个测试集中,同一种粒度下训练模型在2017_dev测试集上的BLEU值最高.经分析后发现,2017_dev测试集和CCMT2018的训练集均为新闻、政府领域,可见领域适应问题对于机器翻译仍然十分重要.

在汉藏翻译任务中,本文同样利用3种不同的模型系统,采用4种不同切分策略进行训练,并在3种测试集上进行测试,实验结果表明:

1)以音节为切分粒度训练模型依然很难达到预期效果,在3个测试集上音节级别测试结果的BLEU值均低于15%.

2)与藏汉翻译相同,在词语级别上的BLEU值比音节级别上的高很多; 与藏汉翻译相比,汉藏翻译采用不同切分策略训练的模型效果更好; 本文提出的RNN*Self-Attention模型相比于RNNSEARCH模型在词语级别上具有显著提升,例如在2017_dev、2017_test、2018_test测试集上BLEU值分别提高了0.47,0.10和0.08 个百分点.

3)不加其他规则按照通用的BPE方式双语处理后进行实验,同样能够提升译文质量,可见藏语也能满足子词级别的切分,并且以子词切分的翻译效果比词语级别的更好.

4)按音词融合切分策略进行训练时,在汉藏翻译任务中更具优势,因为本文在音词融合时,中文使用BPE方式进行切分,藏语在分词的基础上利用藏语本身具有的语言特色规则、统计及还原的方式进行切分,后期经人工处理之后达到更好的音词融合效果.首先在译文中几乎没有未登录词,其次更好地将双语中稀缺或频率较少的词语切换成更小粒度的词,使藏语更好地遵循语法信息,并照顾到黏着语格助词和紧缩词的问题,这将极大地提升译文质量.RNNSEARCH、Transformer和RNN*Self-Attention模型在音词融合上的训练效果相比于BPE有显著提升,其中RNN*Self-Attention模型在2017_dev、2017_test和2018_test测试集上的BLEU值分别提升了0.86,0.87和1.42个百分点.同样地,RNN*Self-Attention模型相比于RNNSEARCH和Transformer模型均有所提升,证明本文提出的方法在汉藏翻译上的效果得到有效提升.

为了进一步证明RNN*Self-Attention模型能够更好地获取目标端信息,本文使用WMT2017德英数据集,分别在德英和英德翻译上进行实验,其实验过程中的所有参数跟藏汉和汉藏翻译中的参数保持一致,实验结果如表4所示.虽然在德英和英德翻译中效果最好的为Transformer模型,但是,RNN*Self-Attention模型相比于Transformer模型具有复杂度低、训练效率高等优势,能够更快地训练出一个比较稳定的翻译模型,如表4最后一列显示,在同样的数据集上训练翻译模型所耗费的平均时间具有很大差距,RNN*Self-Attention模型效率高于Transformer模型.与RNNSEARCH模型相比,RNN*Self-Attention模型在德英和英德翻译任务上的BLEU值分别提升了0.18 和1.20个百分点.引入自注意力构建的网络模型不仅提高翻译效果,同时没有增大复杂度,能够有效地解决长序列中词与词之间的依赖关系,更好地学习到一个句子内部的结构.从而证明本文方法具有较强的通用性.

表4 德英和英德翻译的测试结果
Tab.4 Test results in German-English and English-German