[论文解读] Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis

Jialong Tang, Ziyao Lu+5 more|arXiv (Cornell University)|Jun 4, 2019

Sentiment Analysis and Opinion Mining参考文献 25被引用 13

一句话总结

该论文提出了一种渐进式的自监督注意力学习方法，用于方面级情感分析，通过从训练数据中自动挖掘注意力监督信号来优化注意力机制。通过迭代识别并屏蔽注意力权重最高的上下文词——根据预测结果的正确性将其分类为‘有效’或‘误导性’——该方法对注意力进行正则化，减少对高频情感词的过度依赖，从而在多个数据集上显著提升当前最先进模型的性能。

ABSTRACT

In aspect-level sentiment classification (ASC), it is prevalent to equip dominant neural models with attention mechanisms, for the sake of acquiring the importance of each context word on the given aspect. However, such a mechanism tends to excessively focus on a few frequent words with sentiment polarities, while ignoring infrequent ones. In this paper, we propose a progressive self-supervised attention learning approach for neural ASC models, which automatically mines useful attention supervision information from a training corpus to refine attention mechanisms. Specifically, we iteratively conduct sentiment predictions on all training instances. Particularly, at each iteration, the context word with the maximum attention weight is extracted as the one with active/misleading influence on the correct/incorrect prediction of every instance, and then the word itself is masked for subsequent iterations. Finally, we augment the conventional training objective with a regularization term, which enables ASC models to continue equally focusing on the extracted active context words while decreasing weights of those misleading ones. Experimental results on multiple datasets show that our proposed approach yields better attention mechanisms, leading to substantial improvements over the two state-of-the-art neural ASC models. Source code and trained models are available at https://github.com/DeepLearnXMU/PSSAttention.

研究动机与目标

• 解决现有神经注意力机制在方面级情感分类中的局限性，即过度关注高频情感词而忽略低频但具有信息量的词。
• 克服人工标注注意力监督信号的高昂成本，开发一种从训练数据中自动提取此类信号的自监督方法。
• 通过基于预测正确性的迭代方式优化注意力权重，提升注意力机制的鲁棒性与泛化能力。
• 通过引入正则化项，促进对有效词的关注并抑制误导性词的影响，从而提升方面级情感分类模型的性能。

提出的方法

• 使用带有注意力机制的神经ASC模型，对所有训练样本迭代进行情感预测。
• 在每次迭代中，为每个训练样本提取注意力权重最高的上下文词，作为注意力监督的候选。
• 根据真实标签判断预测是否正确，将提取的词分类为‘有效’（若预测正确）或‘误导性’（若预测错误）。
• 将之前提取的所有词从训练样本中屏蔽，以防止重复处理，并在后续迭代中鼓励发现新模式。
• 构建一个正则化项，促使模型在有效词上保持高注意力权重，同时降低对误导性词的注意力权重。
• 将此正则化项加入标准训练目标中，实现注意力机制在迭代过程中的逐步优化。

实验结果

研究问题

• RQ1 能否通过从训练数据中自监督、迭代式地挖掘注意力信号，来改进方面级情感分类中的注意力机制？
• RQ2 减少对高频情感词的过度依赖，是否能提升模型在未见测试样本上的泛化能力与性能？
• RQ3 能否通过一种渐进式、自动化的方案替代人工标注的注意力监督，而无需人类标注的注意力标签？
• RQ4 所提出的正则化项在平衡高频与低频情感相关词的注意力分配方面有多有效？
• RQ5 该方法在准确率和注意力机制质量方面，对当前最先进神经ASC模型的提升程度如何？

主要发现

• 所提方法通过优化注意力机制，在多个基准数据集上显著提升了两种当前最先进神经ASC模型的性能。
• 模型实现了更优的注意力可视化效果，减少了对高频词（如‘small’和‘cute’）的过度关注，同时增强了对上下文相关但低频词（如‘crowded’）的关注。
• 对于‘cute’一词，在负面或中性语境下，其平均注意力权重降低至原始值的7%，从而在先前被错误分类的样本中实现了正确的情感预测。
• 该方法有效抑制了误导性注意力：在测试样本中，‘cute’的注意力权重从0.1090降至0.0062，最终实现正确预测。
• 渐进式自监督方法优于未使用此类正则化的模型，证明了自动挖掘注意力监督信号的有效性。
• 源代码与训练模型已公开，支持可复现性及注意力机制优化的进一步研究。