[论文解读] SHAPED: Shared-Private Encoder-Decoder for Text Style Adaptation

Ye Zhang, Nan Ding+1 more|arXiv (Cornell University)|Apr 11, 2018

Topic Modeling参考文献 35被引用 5

一句话总结

本文提出 SHAPED 和 Mix-SHAPED 两种神经编码器-解码器架构，通过联合学习共享（通用）语言模式与私有（风格特定）表征，实现可控的文本风格迁移。通过结合共享与私有编码器/解码器及风格分类器，该模型在标题生成任务中优于平均风格与单风格基线模型，尤其在实时适应未见风格时表现更优。

ABSTRACT

Supervised training of abstractive language generation models results in learning conditional probabilities over language sequences based on the supervised training signal. When the training signal contains a variety of writing styles, such models may end up learning an 'average' style that is directly influenced by the training data make-up and cannot be controlled by the needs of an application. We describe a family of model architectures capable of capturing both generic language characteristics via shared model parameters, as well as particular style characteristics via private model parameters. Such models are able to generate language according to a specific learned style, while still taking advantage of their power to model generic language phenomena. Furthermore, we describe an extension that uses a mixture of output distributions from all learned styles to perform on-the fly style adaptation based on the textual input alone. Experimentally, we find that the proposed models consistently outperform models that encapsulate single-style or average-style language generation capabilities.

研究动机与目标

• 解决标准编码器-解码器模型因混合训练数据分布而学习平均风格的局限性。
• 通过在不同风格间共享通用语言知识，克服为每种风格单独训练模型所导致的效率低下与欠拟合问题。
• 通过由学习到的风格分类器加权的解码器输出混合方法，实现在推理时对未见或域外风格的实时风格迁移。
• 通过将通用语言建模与风格特定模式解耦，提升抽象式文本生成的质量。
• 证明分类器所学习到的风格信息对生成性能有实质性贡献，而不仅依赖内容建模。

提出的方法

• 设计一种共享-私有编码器-解码器架构，其中共享参数建模通用语言，私有参数建模风格特定特征。
• 采用端到端联合目标进行训练：序列生成损失与风格分类损失，以预测每个输入的源分布（如出版商）。
• 在推理阶段，对已知风格使用共享模型与对应私有模型（SHAPED）实现高精度的风格特定生成。
• 对未知或未见风格，采用专家混合方法：将所有私有解码器的输出按分类器预测的风格概率加权组合（Mix-SHAPED）。
• 引入分类器头，估算每个输入属于各训练风格分布的概率，实现在解码过程中动态选择风格。
• 使用 ROUGE-L 与人工评估衡量生成质量与风格对齐程度，包括通过实体掩码进行消融研究，以隔离风格与内容的影响。

实验结果

研究问题

• RQ1 共享-私有架构是否能通过将通用语言建模与风格特定模式解耦，提升抽象式文本生成质量？
• RQ2 为每种风格引入私有模型参数是否能带来优于在平均或单风格数据上训练的模型的性能？
• RQ3 仅基于输入文本训练的分类器是否能准确预测源风格分布，从而实现实时适应未见风格？
• RQ4 性能提升在多大程度上源于风格建模的改进，而非内容建模，尤其是在去除内容信号后？
• RQ5 当泛化到域外出版商时，专家混合解码策略（Mix-SHAPED）与固定风格模型相比表现如何？

主要发现

• SHAPED 模型显著优于仅共享参数的基线模型（S 模型）与独立私有模型（SP 模型），在域内测试集上达到 61.70 的 ROUGE-L 分数，在域外测试集上达到 60.75 的 ROUGE-L 分数。
• Mix-SHAPED 模型在未见出版商（如 CNA 和 LTW）上实现了较高的风格分类准确率（在 80 多分区间），证明了其在实时风格迁移中的有效性。
• 即使将命名实体替换为标签以抑制内容信号，SP 模型与 M-SP 模型仍显著优于 S 模型（61.70 vs. 60.20 ROUGE-L），证明风格建模对性能的独立贡献。
• 分类器学习到了有意义的风格表征：CNA 被预测为最接近 XIN，LTW 最接近 NYT，与已知的风格模式（如被动语态和报道结构的使用）一致。
• 在定性示例中，Mix-SHAPED 模型正确捕捉了 CNA 和 XIN 文章中常见的动词形式与介词结构等风格特定模式，而 S 模型常出现误表征。
• Mix-SHAPED 与仅共享基线模型之间的性能差距在域外出版商上最为显著，证实了该模型通过动态风格混合实现对未见风格泛化的能力。