[论文解读] Semi-Supervised Affective Meaning Lexicon Expansion Using Semantic and Distributed Word Representations

Areej Alhothali, Jesse Hoey|arXiv (Cornell University)|Mar 28, 2017

Sentiment Analysis and Opinion Mining参考文献 24被引用 7

一句话总结

本文提出一种半监督方法，通过在相似性图中结合语义（WordNet、PPDB）与分布式词表示（GloVe、Skip-gram）的词嵌入，在标签传播框架下扩展三维情感意义词典（评价、强度、活跃度）。该方法在融合语义与神经网络词嵌入时，实现了最高的肯德尔等级相关系数（τ=0.51）和最低的平均绝对误差（<1.1%），优于仅使用分布式或仅使用语义的模型，并接近监督基线模型的性能。

ABSTRACT

In this paper, we propose an extension to graph-based sentiment lexicon induction methods by incorporating distributed and semantic word representations in building the similarity graph to expand a three-dimensional sentiment lexicon. We also implemented and evaluated the label propagation using four different word representations and similarity metrics. Our comprehensive evaluation of the four approaches was performed on a single data set, demonstrating that all four methods can generate a significant number of new sentiment assignments with high accuracy. The highest correlations (tau=0.51) and the lowest error (mean absolute error &lt; 1.1%), obtained by combining both the semantic and the distributional features, outperformed the distributional-based and semantic-based label-propagation models and approached a supervised algorithm.

研究动机与目标

• 为解决一维情感词典在捕捉情感意义多维特性方面的局限性。
• 降低三维情感词典（EPA：评价、强度、活跃度）人工标注的高成本与高劳动强度。
• 探究结合语义与分布式词表示在半监督情感词典扩展中的有效性。
• 构建一个大规模、自动扩展的三维情感词典，覆盖现代及文化差异性显著的词汇。
• 在真实世界数据集上，将所提方法与无监督及监督基线方法进行对比评估。

提出的方法

• 利用来自WordNet（语义）、PPDB（基于释义的）、GloVe和Skip-gram（神经网络词嵌入）的词表示构建相似性图。
• 使用多种度量方法计算词对之间的相似性得分，包括词向量的余弦相似度以及词法资源中的同义关系/释义关系。
• 在图上应用标签传播，根据图的连通性与相似度，将种子词的情感得分传播至未标注词。
• 采用混合方法，结合语义与分布式词表示以丰富亲和矩阵，提升传播准确性。
• 从语料库或词典中采样种子词，而非依赖固定预设的种子词（如“good”、“bad”）。
• 在Warriner等人（2013）和General Inquirer（Stone等人，1968）词典上训练并评估模型，使用肯德尔等级相关系数（Kendall’s tau）与平均绝对误差（MAE）作为评估指标。

实验结果

研究问题

• RQ1 与单独使用任一表示方式相比，结合语义与分布式词表示是否能提升三维情感词典扩展的准确性？
• RQ2 在使用不同词表示（如GloVe、Skip-gram、WordNet、PPDB）进行相似性计算时，标签传播的性能如何变化？
• RQ3 所提出的半监督方法在诱导EPA分数方面是否能达到与监督学习基线相当的性能？
• RQ4 所诱导的EPA分数在不同维度（评价、强度、活跃度）上与人工标注值的相关性如何？
• RQ5 该方法在捕捉传统词典中未包含的现代或文化敏感性词汇的情感意义方面，能力如何？

主要发现

• 语义与神经网络词嵌入的融合（NWELP）在与人工标注的EPA分数对比时，实现了最高的肯德尔等级相关系数（τ=0.51），显著优于其他方法。
• 最佳模型（NWELP）的平均绝对误差（MAE）低于1.1%，表明预测情感值具有高精度。
• 评价（E）维度的相关性最高（τ≈0.51），而强度（P）维度最低，表明在建模支配性方面更具挑战性。
• NWELP模型在相关性与误差指标上均优于仅使用分布式（如GloVe、Skip-gram）或仅使用语义（如WordNet、PPDB）表示的标签传播模型。
• 该方法在无需大规模标注训练集的情况下，实现了与基于词嵌入和情感词典训练的监督学习算法（SVR）相当的性能。
• 该方法成功将三维情感词典扩展至约300万个词，显著提升了对现代及文化细微差异词汇的覆盖能力。