[论文解读] Structural Bias for Aspect Sentiment Triplet Extraction

Chen Zhang, Lei Ren+4 more|arXiv (Cornell University)|Sep 2, 2022

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文提出了一种轻量级结构适配器，通过向预训练语言模型（PLMs）注入相对位置偏置，用于方面情感三元组抽取（ASTE），在参数增加极少且延迟低的情况下实现了最先进性能。该方法用高效的相对距离编码替代计算成本高昂的句法依存分析，表明即使在基于PLM的ASTE系统中，结构偏置依然至关重要。

ABSTRACT

Structural bias has recently been exploited for aspect sentiment triplet extraction (ASTE) and led to improved performance. On the other hand, it is recognized that explicitly incorporating structural bias would have a negative impact on efficiency, whereas pretrained language models (PLMs) can already capture implicit structures. Thus, a natural question arises: Is structural bias still a necessity in the context of PLMs? To answer the question, we propose to address the efficiency issues by using an adapter to integrate structural bias in the PLM and using a cheap-to-compute relative position structure in place of the syntactic dependency structure. Benchmarking evaluation is conducted on the SemEval datasets. The results show that our proposed structural adapter is beneficial to PLMs and achieves state-of-the-art performance over a range of strong baselines, yet with a light parameter demand and low latency. Meanwhile, we give rise to the concern that the current evaluation default with data of small scale is under-confident. Consequently, we release a large-scale dataset for ASTE. The results on the new dataset hint that the structural adapter is confidently effective and efficient to a large scale. Overall, we draw the conclusion that structural bias shall still be a necessity even with PLMs.

研究动机与目标

• 探究在使用预训练语言模型（PLMs）时，结构偏置是否仍对方面情感三元组抽取（ASTE）至关重要。
• 解决现有结构偏置集成方法的低效问题，特别是参数和延迟开销过高。
• 开发一种轻量级、高效的适配器，向PLMs注入结构偏置，而无需微调主模型参数。
• 在标准基准和新发布的大型ASTE数据集上评估所提方法的有效性。

提出的方法

• 提出一种结构适配器，将源自相对位置距离的结构化注意力图添加到PLMs的自注意力机制中。
• 使用相对距离作为句法依存结构的简化代理，降低计算成本，同时保持性能。
• 通过加法注入方式将适配器集成到原始注意力图中，仅需少量额外参数。
• 采用参数高效的适配器设计，避免对PLM进行完整微调，从而保持模型效率。
• 用计算成本低廉的相对位置编码替代显式依存分析，以提升延迟效率。
• 在SemEval基准和新发布的大型数据集𝕃𝕒𝕤𝕥𝕖𝕕上验证该方法，实现稳健评估。

实验结果

研究问题

• RQ1 在使用预训练语言模型时，结构偏置对方面情感三元组抽取是否仍然必要？
• RQ2 能否在不产生高参数或延迟成本的前提下，高效地将结构偏置集成到PLMs中？
• RQ3 使用相对位置距离替代句法依存结构是否能保持或提升ASTE中的性能？
• RQ4 与现有基线相比，所提出的结构适配器在大规模、真实世界ASTE数据上的表现如何？

主要发现

• 所提出的结构适配器在SemEval基准上实现了最先进F1分数，以极小的参数增加超越强基线模型。
• 在新发布的大型数据集𝕃𝕒𝕤𝕥𝕖𝕕上，该适配器保持了稳定的性能提升，证实其在大规模场景下的有效性。
• 在GTS上，使用BERT-base时F1提升1.57分（从44.92提升至45.79）；在MuG上，F1提升1.94分（从46.22提升至47.22）。
• 通过用相对距离计算替代依存分析，该方法实现了低延迟，因为相对距离计算比句法分析更高效。
• 该适配器未提升RoBERTa-large的性能，表明需进一步研究以适配更大规模的PLMs。
• 结果证实，即使在强大PLMs的时代，结构偏置对ASTE依然必不可少，尤其当以高效方式集成时。