发表在ACL2020
代码开源地址：https://github.com/PaddlePaddle/Research/tree/master/NLP/ACL2020-WST
作者团队：Piji Li Haisong Zhang Xiaojiang Liu Shuming Shi Tencent AI Lab, Shenzhen, ChinaChulun Zhou, Liangyu Chen, Jiachen Liu, Xinyan Xiao, Jinsong Su, Sheng Guo, Hua Wu
1. 引言
在不使用所有训练数据的情况下保留原始内容的输入句子的风格。在目前占主导地位的方法中，由于缺乏细粒度控制目标风格的影响，他们无法产生理想的产出。在本文中，我们提出了一种新的注意顺序对顺序（Seq2seq）模型，该模型动态地利用每个输出单词与目标语体的相关性进行无监督语体转换。具体来说，我们首先预训练一个风格分类器，其中每个输入单词与原始风格的相关性可以通过分层相关性传播来量化。以去噪自动编码的方式，我们训练了一个注意Seq2seq模型来重新构造输入句子，同时重新预测先前量化的词级风格相关性。通过这种方式，该模型能够自动预测每个输出单词的风格相关性。然后，我们为该模型的解码器配备了一个神经风格组件，以利用预测的单词水平风格相关性，实现更好的风格转换。特别是，我们使用精心设计的目标函数，对这个模型进行了微调，其中包括：旋转式风格转换、风格相关性考虑、连贯性、内容保留和流畅性模型，以及损失术语。实验结果表明，我们提出的模型在传输精度和内容保存方面都达到了最先进的性能。
图1 模型与现有模型对比
2. 框架描述
2.1 任务介绍
给定一组标记的训练实例：
目标是训练一个能够自动转换一个原始风格的输入句子
到一个目标风格的句子
，并且保持原始内容。为了实现这一目标，本文扩展了attentional Seq2seq模型，为其解码器配备了风格组件，以实现对目标风格对不同输出字的影响的细粒度控制。
2.2 Stage 1: Train a Basic AttentionalSeq2seq Model with Repredicting Word-level Style Relevance
在这一阶段，我们首先引入一个预先训练的风格分类器，通过LRP来量化训练句子与原始风格的词级相关性个掩蔽的多头自我注意组件，然后，我们以去噪自编码的方式训练一个基本的注意Seq2seq模型，其中需要对该模型进行重建，同时对输入句子并重新预测其词级风格相关性。通过这样做，我们的模型获得了预测输出词的风格相关性和重构的初步能力 输入句子，使后续阶段的训练更容易。接下来，我们简要描述我们的基本模型，然后详细介绍它的目标函数。它主要由一个编码器和一个具有注意机制的解码器组成。该编码器是一个正向GRU网络，该解码器也是一个前向GRU网络。
最后，loss为：
，
其中两部分分别为
图2 一阶段模型框架图
2.3 Stage 2: Fine-tune the Extended Model
在这个阶段，我们扩展了上述基本模型，为其解码器配备了一个神经样式组件，它预测，然后利用下一个输出词的样式相关性来细化其生成器，同样地，我们首先对我们扩展的模型进行了详细的描述，然后描述了如何使用一个包含多个损失项的新的目标函数来微调它。
图3 二阶段模型框架图
图3 NSC风格组件
2.4 损失函数
其中：
3. 实验
3.1 数据集
YELP：该数据集由餐厅评论和商业评论组成，广泛用于风格迁移。文章过滤了超过16个单词的句子，在训练集、验证集和测试集中分别留下大约448K、64K和1K个句子。
GYAFC：:该数据集包括娱乐音乐(E&M)和家庭关系(F&R)两个领域的数据,平行数据包括正式和非正式文本，验证、开发和测试集中分别保留了大约102K、5K和1K个句子。
3.2 参数设置
3.3 评价指标
评价指标分为机器评估和人类评估：
图4 评价指标
图五 人工评价指标
3.4 对比实验
自动指标：
人工指标：
3.5 消融实验
3.6 案例研究
4. 总结
本文提出了一种新的模型，该模型配备了用于无监督风格转换的神经风格组件。利用了预先训练好的风格分类器来量化的词语相关性。首先训练模型来重建输入句子，同时预测单词级的风格相关性。给模型配备风格组件，利用单词级的风格相关性来更好地进行风格转换。