[论文解读] Style Obfuscation by Invariance

Chris Emmery, Enrique Manjavacas+1 more|arXiv (Cornell University)|May 18, 2018

Authorship Attribution and Profiling参考文献 46被引用 3

一句话总结

本文提出了一种名为基于不变性的混淆方法（obfuscation-by-invariance）的新方法，通过训练序列模型对特定风格属性（如年龄、性别）保持不变，而非进行风格迁移。在自编码器或序列到序列框架中使用梯ant Gradient Reversal Layer (GRL)，该方法使风格分类器的性能达到随机水平，同时比基于迁移的方法更好地保留了语义内容。人类评估验证了混淆强度与输出质量之间的权衡。

ABSTRACT

The task of obfuscating writing style using sequence models has previously been investigated under the framework of obfuscation-by-transfer, where the input text is explicitly rewritten in another style. These approaches also often lead to major alterations to the semantic content of the input. In this work, we propose obfuscation-by-invariance, and investigate to what extent models trained to be explicitly style-invariant preserve semantics. We evaluate our architectures on parallel and non-parallel corpora, and compare automatic and human evaluations on the obfuscated sentences. Our experiments show that style classifier performance can be reduced to chance level, whilst the automatic evaluation of the output is seemingly equal to models applying style-transfer. However, based on human evaluation we demonstrate a trade-off between the level of obfuscation and the observed quality of the output in terms of meaning preservation and grammaticality.

研究动机与目标

• 为解决风格迁移中常见的语义退化问题，即模型为欺骗分类器而改变语义。
• 探究训练模型对风格属性保持不变是否能改善混淆过程中的语义保留。
• 评估梯度反转层（GRL）在学习文本风格不变表示方面的有效性。
• 比较并行（序列到序列）与非并行（自编码器）设置在风格混淆中的性能表现。
• 通过人类评估评估混淆强度与输出质量之间的权衡。

提出的方法

• 在句子编码器与风格分类器之间插入梯度反转层（GRL），采用神经编码器-解码器架构，以强制实现风格不变性。
• 训练模型以最小化风格分类器的准确率，使其趋近于随机水平，同时保持语义内容。
• 在并行与非并行设置中均使用条件解码器，基于风格不变的潜在表示生成输出。
• 在英语《圣经》语料库中，分别采用并行设置（带有成对风格翻译）与非并行设置（自编码器）进行实验。
• 使用自动指标（BLEU、METEOR、嵌入相似度）与人类评估对输出进行比较。
• 评估GRL与条件解码对判别器性能与语义保真度的影响。

实验结果

研究问题

• RQ1 能否通过训练模型对风格属性保持不变，实现有效风格混淆，同时不改变语义内容？
• RQ2 在语义保留与语法正确性方面，风格不变模型与风格迁移模型的性能相比如何？
• RQ3 使用梯度反转层在多大程度上降低了风格分类器的准确率，同时保持了语义连贯性？
• RQ4 与使用平行数据的序列到序列模型相比，使用GRL的自编码器设置是否能产生更语义稳定的重写？
• RQ5 人类评估中，混淆程度与生成输出质量之间的权衡关系如何？

主要发现

• 风格分类器的性能降至随机水平，表明成功实现了风格不变性。
• 自动评估指标（BLEU、METEOR、嵌入相似度）显示，风格不变模型的输出与风格迁移模型的输出相当。
• 人类评估显示存在明显权衡：混淆强度越高，感知到的语法正确性与语义保留度越低。
• 尽管后者拥有平行数据，但自编码器配合GRL在人类评估中优于使用迁移的序列到序列模型。
• 定性分析表明，自编码器模型产生了语义正确的局部修改与部分重写，表明其具备实现风格中立重写的潜力。
• 在《圣经》语料库中，风格中立重写的证据较难找到，但自编码器方法在非并行设置中展现出良好前景。