[论文解读] Unsupervised Paraphrasing by Simulated Annealing

Xianggen Liu, Lili Mou+4 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 41被引用 6

一句话总结

本文提出UPS A，一种新颖的无监督释义生成方法，将释义生成建模为模拟退火优化问题。通过在迭代词粒度编辑中联合优化语义相似度、表达多样性与流畅度（并借助复制机制增强），该方法在Quora、Wikianswers、MSCOCO和Twitter数据集上均取得了最先进性能，优于大多数经过领域微调的有监督模型。

ABSTRACT

Unsupervised paraphrase generation is a promising and important research topic in natural language processing. We propose UPSA, a novel approach that accomplishes Unsupervised Paraphrasing by Simulated Annealing. We model paraphrase generation as an optimization problem and propose a sophisticated objective function, involving semantic similarity, expression diversity, and language fluency of paraphrases. Then, UPSA searches the sentence space towards this objective by performing a sequence of local editing. Our method is unsupervised and does not require parallel corpora for training, so it could be easily applied to different domains. We evaluate our approach on a variety of benchmark datasets, namely, Quora, Wikianswers, MSCOCO, and Twitter. Extensive results show that UPSA achieves the state-of-the-art performance compared with previous unsupervised methods in terms of both automatic and human evaluations. Further, our approach outperforms most existing domain-adapted supervised models, showing the generalizability of UPSA.

研究动机与目标

• 为解决在低资源或领域特定设置下大规模平行释义数据的缺乏问题。
• 通过实现语义保留、流畅度与词汇多样性之间的可控权衡，提升无监督释义生成性能。
• 缩小无监督与有监督释义生成模型在多样化领域中的性能差距。
• 探究模拟退火是否能在离散文本生成中优于随机采样。

提出的方法

• 将释义生成建模为基于离散句子编辑（插入、替换、删除）的模拟退火优化问题。
• 设计复合目标函数，整合语义相似度（句子级与关键词级）、表达多样性与流畅度，以引导搜索过程。
• 引入复制机制，在编辑过程中保留罕见或未登录词，以维持语义保真度。
• 采用温度控制的接受概率，以在搜索过程中平衡探索（高温）与利用（低温）。
• 使用预训练句子编码器（如BERT）在目标函数中计算语义相似度与流畅度得分。
• 对退火温度应用降温调度，使早期能够逃离局部最优，后期实现高质量解的收敛。

实验结果

研究问题

• RQ1 模拟退火能否在无监督释义生成中有效优化语义相似度、多样性与流畅度等多重冲突目标？
• RQ2 在目标函数中引入表达多样性，对生成释义的质量与独特性有何影响？
• RQ3 无监督方法UPS A在多大程度上可达到或超越在领域特定数据上微调的有监督模型性能？
• RQ4 性能对模拟退火过程中初始温度与降温调度的敏感程度如何？

主要发现

• UPS A在四个基准数据集（Quora、Wikianswers、MSCOCO和Twitter）上均取得最先进性能，无论在自动评估还是人工评估中均优于所有先前的无监督方法。
• 在Quora数据集中，UPS A的iBLEU得分为12.41，显著优于次佳无监督方法超过2分。
• 消融实验证实，目标函数中的每个组件（语义相似度、多样性、流畅度）均对性能有显著贡献，其中表达多样性影响尤为突出。
• 复制机制使iBLEU提升约0.1分，证明其在保留罕见或关键词汇方面的价值。
• 降温调度至关重要：固定温度（如Metropolis–Hastings方法）会降低性能，证实动态温度衰减的优势。
• UPS A优于在Wikianswers上微调的有监督模型，表明其在跨领域场景下具备强大的泛化能力与鲁棒性。