[论文解读] Perplexity from PLM Is Unreliable for Evaluating Text Quality

Yequan Wang, Jiawen Deng+2 more|arXiv (Cornell University)|Oct 12, 2022

Natural Language Processing Techniques被引用 13

一句话总结

本文表明，由预训练语言模型（PLM）计算的困惑度（PPL）作为文本质量评估指标不可靠，因其对文本长度、片段重复和标点符号高度敏感。尽管广泛用于评估流畅性，PPL偏好更长的文本，对极少的标点修改予以惩罚，并奖励冗余重复——这些因素并不能反映真实的文本质量，因此需要更稳健、多维度的评估指标。

ABSTRACT

Recently, amounts of works utilize perplexity~(PPL) to evaluate the quality of the generated text. They suppose that if the value of PPL is smaller, the quality(i.e. fluency) of the text to be evaluated is better. However, we find that the PPL referee is unqualified and it cannot evaluate the generated text fairly for the following reasons: (i) The PPL of short text is larger than long text, which goes against common sense, (ii) The repeated text span could damage the performance of PPL, and (iii) The punctuation marks could affect the performance of PPL heavily. Experiments show that the PPL is unreliable for evaluating the quality of given text. Last, we discuss the key problems with evaluating text quality using language models.

研究动机与目标

• 调查困惑度（PPL）作为自然语言生成中文本质量代理指标的可靠性。
• 识别PPL中系统性偏差，这些偏差会扭曲其反映真实流畅度与质量的能力。
• 挑战广泛存在的假设，即更低的PPL始终代表更好的文本质量。
• 提出未来评估指标的设计原则，使其对长度、重复和微小标点变化具有鲁棒性。

提出的方法

• 使用GPT-2-large在WikiText-2数据集中的高质量句子上计算PPL。
• 系统性地修改输入文本后测量PPL变化：调整长度、引入重复片段、移除标点符号。
• 应用交叉熵损失计算PPL：PPL(s) = exp(1/m * Σ cross-entropy(ti, Pi))，其中s为词元序列。
• 按长度过滤句子以隔离长度影响，重点关注不同长度下PPL的稳定性。
• 比较移除标点符号（尤其是句末句号）前后的PPL值，以评估其敏感性。
• 通过受控实验隔离重复的影响，通过在句子内复制片段实现。

实验结果

研究问题

• RQ1 在评估高质量句子时，文本长度如何影响PPL值？
• RQ2 PPL在多大程度上惩罚或奖励生成文本中的冗余或重复片段？
• RQ3 PPL对微小标点变化（尤其是句末标点的移除）的敏感度如何？
• RQ4 PPL能否可靠地区分语义上有意义的强调与无意义的重复？
• RQ5 使用基于PLM的PPL作为单一指标评估文本流畅性与质量的主要局限性是什么？

主要发现

• 即使在高质量文本中，PPL值在短文本中显著高于长文本，表明存在长度偏差。
• 重复的文本片段会持续降低PPL值，表明PPL更偏好冗余而非语义多样性或连贯性。
• 移除句末标点符号通常会导致PPL显著上升，尽管对人类感知的句子质量影响微乎其微。
• PPL对标点变化高度敏感，尤其在短句中，PPL的变化可能极大且不一致。
• 高质量维基百科来源句子的PPL值因非语义因素而广泛波动，削弱了其作为质量代理指标的可靠性。
• PPL无法区分有意义的强调与无意义的重复，因此不适合作为单一流畅性指标。