发帖
雷达卡
弥合神经机器翻译在训练和推理过程之间的缺口
神经机器翻译（NMT）基于上下文预测下一个词，依次生成目标语句。在训练时，模型以真实值作为上下文（context）进行预测，而在推理时，模型必须从头生成整个序列。这种输入上下文的差异会导致错误累积。此外，单词级别（word-level）的训练要求生成的序列与真实序列严格匹配，这会导致模型对不同但合理的翻译产生过度矫正。
为了解决这一问题，研究人员提出不仅从真实值序列中采样得到上下文词（context word），也从模型的预测序列中采样得到上下文词。
该方法解决了 seq2seq 中长期存在的暴露偏差问题；适用于当前的 teacher-forcing 训练范式，比 scheduled sampling 有所提升；实验结果表明该方法在多个数据集上取得了显著的改进。该方法可能影响机器翻译的未来，也适用于其他 seq2seq 任务。
京公网安备 11010802022788号
