[论文解读] On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation

Jianing Li, Yanyan Lan+2 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Text Analysis Techniques被引用 4

一句话总结

本文从理论上将文本生成中的质量-多样性评估与分布拟合目标联系起来，证明线性组合的质量与多样性指标仅在严格条件下才能构成有效的分歧度量。研究发现BLEU/自我-BLEU与分布拟合不兼容，并提出覆盖率（CR）与负重复率（NRR）作为更优替代指标，能同时反映分布准确性和生成质量。

ABSTRACT

The goal of text generation models is to fit the underlying real probability distribution of text. For performance evaluation, quality and diversity metrics are usually applied. However, it is still not clear to what extend can the quality-diversity evaluation reflect the distribution-fitting goal. In this paper, we try to reveal such relation in a theoretical approach. We prove that under certain conditions, a linear combination of quality and diversity constitutes a divergence metric between the generated distribution and the real distribution. We also show that the commonly used BLEU/Self-BLEU metric pair fails to match any divergence metric, thus propose CR/NRR as a substitute for quality/diversity metric pair.

研究动机与目标

• 澄清质量-多样性评估与文本生成中分布拟合目标之间的理论关系。
• 确定质量与多样性指标在何种条件下可作为生成分布与真实文本分布之间有效分歧度量。
• 识别广泛使用的指标（如BLEU和自我-BLEU）在反映分布保真度方面的缺陷。
• 提出一对新指标——覆盖率（CR）与负重复率（NRR）——以更好地契合分布拟合目标。
• 在不同生成设置下的真实文本数据上，通过实证方法验证所提指标。

提出的方法

• 将质量和多样性形式化为生成分布的函数，通过基函数的积分变换进行定义。
• 分析同时最大化质量和多样性的多目标优化问题，识别出帕累托最优解。
• 证明线性组合的质量与多样性仅在指标满足特定函数关系（即g(x)为f(x)的仿射变换的积分）时，才能构成分歧度量。
• 表明BLEU/自我-BLEU组合不满足该条件，通过反直觉结果（真实文本在两项指标上均优于模型生成样本）加以证明。
• 提出CR与NRR作为替代指标：CR衡量参考集中覆盖的唯一n-gram比例，NRR则惩罚生成样本中的重复现象。
• 通过在RNNLM上进行温度扫描实验验证CR/NRR，结果表明其与质量、多样性和分歧趋势保持一致。

实验结果

研究问题

• RQ1 在何种条件下，质量与多样性指标的线性组合可作为生成分布与真实文本分布之间的有效分歧度量？
• RQ2 为何广泛使用的指标（如BLEU和自我-BLEU）无法反映文本生成中真正的分布拟合目标？
• RQ3 能否构建一对新指标，以同时捕捉质量、多样性和分布保真度？
• RQ4 在不同生成设置下，CR与NRR相较于BLEU/自我-BLEU在反映质量与多样性权衡方面表现如何？
• RQ5 在实证评估中，CR/NRR及其线性组合与实际分布分歧的相关性达到何种程度？

主要发现

• 只有当指标满足严格函数关系（即g(x)为f(x)的仿射变换的积分）时，质量与多样性指标的线性组合才能构成有效的分歧度量。
• 广泛使用的BLEU/自我-BLEU指标对不满足该条件，无法反映分布拟合目标，证据显示真实文本在两项指标上均优于模型生成样本。
• 提出覆盖率（CR）与负重复率（NRR）作为理论基础坚实的替代指标对，能同时契合质量和多样性目标。
• 在RNNLM上进行温度扫描实验表明，CR/NRR能持续跟踪质量与多样性趋势，且其线性组合与分布分歧高度相关。
• CR/NRR性能随n-gram长度迅速提升，表明其在n=2或n=3等短n-gram设置下表现最佳。
• 结果表明，在文本生成的质量-多样性评估中，CR/NRR应优先于BLEU/自我-BLEU使用。