[论文解读] Rissanen Data Analysis: Examining Dataset Characteristics via Description Length

Ethan Perez, Douwe Kiela+1 more|arXiv (Cornell University)|Mar 5, 2021

Natural Language Processing Techniques被引用 12

一句话总结

本文提出了里萨尼安数据分析（Rissanen Data Analysis, RDA），一种基于理论的分析方法，利用最小描述长度（Minimum Description Length, MDL）来评估特定数据能力（如子问题生成、推理过程、词序等）是否能降低标注数据的建模复杂度。RDA 表明，这些能力确实能缩短描述长度，揭示了能解释模型性能的内在数据特性，并在 HotpotQA 和 e-SNLI 等 NLP 基准任务中得到应用。

ABSTRACT

We introduce a method to determine if a certain capability helps to achieve an accurate model of given data. We view labels as being generated from the inputs by a program composed of subroutines with different capabilities, and we posit that a subroutine is useful if and only if the minimal program that invokes it is shorter than the one that does not. Since minimum program length is uncomputable, we instead estimate the labels' minimum description length (MDL) as a proxy, giving us a theoretically-grounded method for analyzing dataset characteristics. We call the method Rissanen Data Analysis (RDA) after the father of MDL, and we showcase its applicability on a wide variety of settings in NLP, ranging from evaluating the utility of generating subquestions before answering a question, to analyzing the value of rationales and explanations, to investigating the importance of different parts of speech, and uncovering dataset gender bias.

研究动机与目标

• 开发一种理论上有依据的方法，用于评估特定数据能力是否能提升模型的简洁性与准确性。
• 解决以往数据分析方法的局限性，这些方法依赖于模型在保留数据上的性能或分布变化。
• 通过估计在给定输入下标签的最小描述长度，直接探测数据集特性。
• 评估子问题生成、解释说明和词序等能力在 NLP 数据集中的内在价值。
• 通过描述长度分析揭示数据集中隐藏的偏差与结构依赖关系。

提出的方法

• RDA 将模型性能建模为在给定输入下最小化标签描述长度的问题，使用 MDL 作为柯尔莫哥洛夫复杂度的代理指标。
• 采用分块预序编码（block-wise prequential coding）来估计 MDL，为从输入生成标签的最短程序提供上界。
• 通过比较在有无特定能力（如子问题、词序）情况下的 MDL，来判断该能力的效用。
• 若包含某项能力能降低标签序列的估计 MDL，则认为该能力具有实用性。
• 所有比较均使用相同的学习算法，以确保相对 MDL 值具有可比性。
• 该方法可应用于多种 NLP 任务，包括问答、文本蕴含和语言可接受性判断，通过测量不同输入变换下的 MDL 变化来实现。

实验结果

研究问题

• RQ1 在问答数据集中，生成子问题是否是一种能提升模型简洁性的有用能力？
• RQ2 在文本蕴含任务中，解释和推理过程是否能减少标签的描述长度？
• RQ3 在不同 NLP 任务中，词序对压缩标签序列的贡献有多大？
• RQ4 不同词类在多大程度上能减少标签序列的 MDL？
• RQ5 数据集是否内在地编码了性别偏见，MDL 能否揭示此类偏见？

主要发现

• 在 HotpotQA 上，子问题生成显著降低了 MDL，证实了其内在实用性，而以往基于性能的评估可能低估了其作用。
• 在 e-SNLI 中，推理过程和解释均降低了 MDL，但推理过程更有效，表明其在简化标签预测方面具有更强的作用。
• 词序在所有任务中均降低了 MDL：在 MNLI 上，它将标签压缩率从基线的 75% 降低至 50%；在 CoLA 上，词序是实现任何压缩的必要条件。
• RDA 揭示，某些词类在降低 MDL 方面比其他词类更为关键，功能词与内容词的贡献因任务而异。
• 该方法发现性别偏见被编码在数据集结构中，因为移除性别相关词汇会增加 MDL，表明偏见是数据可压缩性的一部分。
• RDA 提供了一种一致且内在的数据集复杂度度量，独立于特定模型行为，为模型探测提供了一种稳健的替代方案。