如何在样式传输中增强数据

这是一篇有关如何在样式传输中执行数据增强的文章。在引言部分中，非正式的＆gt;正式的样式转换问题的最大障碍是缺乏训练数据。
为了解决这个问题，本文提出了三种数据增强方法来获得有用的句子对。对于回译（BT），我们使用原始语料库来训练seq2seq模型。
其中，正式句子被用作模型的输入，因此seq2seq模型具有输出相应非正式句子的能力。然后，模型输入的正式语句和非正式语句输出形成一个新的语句对。
形式歧视（F-Dis）F-Dis方法使用机器翻译模型将信息性句子改写为形式性句子。首先使用Google Translate API将这些非正式声明翻译成其他语言（例如法语），然后再翻译回英语。
如下图所示：其中，可以从在线论坛中收集非正式声明。这意味着收集的第ith个句子（非正式）是翻译回的最后一个句子（正式），并且这两个构成了一个新的句子对。
该方法还使用CNN来构造“格式识别符”：它用于对“规则性”进行评分。一句话它是上图右侧括号中的小数。
最终选择的新数据集要求如下：其中，代表“正常”状态。句子的程度，即阈值多任务传输（M-Task）。
我们已经观察到正式句子通常在语法上是正确的，非正式句子的语法通常是错误的。先前的研究表明，将语法错误校正模型（GEC）应用于FST的输出可以改善该模型的效果。
受此启发，本文直接将GEC培训数据用作增强的新数据集。下图中的模型将上面提到的seq2seq模型训练为Transformer（base）。
本文首先使用增强的新数据进行预训练，然后使用原始语料库数据进行微调，这称为预训练和微调（PT＆amp; FT）方法。以下结果证明，PT＆amp; FT的效果优于ST方法。
ST是将增强数据和原始数据一起训练。下图显示了三种数据增强方法的效果：下图显示了我们的方法与先前模型的比较结果：。