[论文解读] Refining Language Models with Compositional Explanations

Huihan Yao, Ying Chen+3 more|arXiv (Cornell University)|Mar 18, 2021

Topic Modeling参考文献 59被引用 17

一句话总结

本文提出 Remote 框架，通过利用人类提供的组合式解释来微调预训练语言模型，以减少虚假模式并提升公平性。通过将解释解析为可执行的逻辑规则，并将其泛化至未标注数据，Remote 增强了正则化覆盖范围，同时整合了特征归因与交互作用，从而在仇恨言论和情感分类任务中提升了性能并降低了偏差。

ABSTRACT

Pre-trained language models have been successful on text classification tasks, but are prone to learning spurious correlations from biased datasets, and are thus vulnerable when making inferences in a new domain. Prior work reveals such spurious patterns via post-hoc explanation algorithms which compute the importance of input features. Further, the model is regularized to align the importance scores with human knowledge, so that the unintended model behaviors are eliminated. However, such a regularization technique lacks flexibility and coverage, since only importance scores towards a pre-defined list of features are adjusted, while more complex human knowledge such as feature interaction and pattern generalization can hardly be incorporated. In this work, we propose to refine a learned language model for a target domain by collecting human-provided compositional explanations regarding observed biases. By parsing these explanations into executable logic rules, the human-specified refinement advice from a small set of explanations can be generalized to more training examples. We additionally introduce a regularization term allowing adjustments for both importance and interaction of features to better rectify model behavior. We demonstrate the effectiveness of the proposed approach on two text classification tasks by showing improved performance in target domain as well as improved model fairness after refinement.

研究动机与目标

• 解决现有模型正则化方法在捕捉复杂人类反馈时覆盖范围不足与表达能力有限的问题。
• 通过利用人类提供的组合式解释来微调模型，提升低资源或分布外设置下的模型鲁棒性与公平性。
• 将小样本数据集上的人工标注反馈泛化至目标领域中更广泛的未标注实例。
• 将正则化从单一特征归因扩展至特征交互作用，提升人类反馈的表达能力。
• 实现高效、非侵入式的模型微调，无需访问上游训练数据。

提出的方法

• 从事后解释热力图中收集人类提供的组合式解释，识别虚假模式，包括特征归因与交互作用。
• 将这些解释解析为可执行的一阶逻辑规则，以编码特征重要性与交互约束。
• 使用软化原子操作，将逻辑规则泛化至目标领域中的未标注实例，生成噪声但具信息量的监督信号。
• 引入一种可微分的正则化项，在微调过程中联合优化特征归因与特征交互作用。
• 使用软匹配机制识别未标注句子中的相关短语，并基于泛化的逻辑规则分配目标分数。
• 使用包含标准交叉熵损失与基于泛化人类反馈的正则化项的联合损失进行模型训练。

实验结果

研究问题

• RQ1 超越简单特征归因的组合式人类解释是否能提升语言模型微调的泛化性与鲁棒性？
• RQ2 基于规则的反馈泛化至未标注数据在提升分布外文本分类模型性能方面有多有效？
• RQ3 在正则化过程中引入特征交互作用是否能比仅基于归因的方法更有效地缓解虚假相关性？
• RQ4 模型微调性能对正则化项强度的敏感度如何？
• RQ5 该框架是否能在不访问上游训练数据的情况下减少模型中的非预期偏差？

主要发现

• Remote 在目标领域上提升了源模型的性能，在 HatEval → GHC 仇恨言论分类任务中达到 45.7% 的 F1 分数，优于直接迁移的 42.1%。
• 归因与交互作用正则化相结合（Reg. with a.&i.）取得了最佳性能，F1 达 45.7%，且偏差更低，优于仅正则化归因或交互作用的方法。
• 该框架对正则化强度具有鲁棒性，性能在广泛超参数范围（α ∈ [0.003, 0.03]）内保持稳定。
• 仅使用仇恨相关标注规则的正则化优于使用非仇恨相关标注规则，表明聚焦于有害模式能带来更优的模型微调效果。
• 使用软正则化损失后，每次训练迭代的时间成本增加约 50 秒，但由于每条样本仅对少数短语进行稀疏评分，整体仍保持可管理。
• 该方法显著降低了非预期偏差，经验证公平性违规减少，泛化能力提升，尤其在低资源设置下表现突出。