[论文解读] Words are Malleable: Computing Semantic Shifts in Political and Media Discourse

Hosein Azarbonyad, Mostafa Dehghani+4 more|arXiv (Cornell University)|Nov 15, 2017

Opinion Dynamics and Social Influence参考文献 33被引用 15

一句话总结

本文提出了一套框架，用于检测在不同观点视角（如政党或时间周期）之间词语的语义漂移，方法是使用在观点特定语料上训练的词嵌入。通过线性映射和邻域相似性在不同嵌入空间之间比较词向量，作者表明语义漂移不仅发生在时间维度上，也存在于社会和意识形态语境中，且组合度量方法在意识形态检测和摘要任务中优于单一方法。

ABSTRACT

Recently, researchers started to pay attention to the detection of temporal shifts in the meaning of words. However, most (if not all) of these approaches restricted their efforts to uncovering change over time, thus neglecting other valuable dimensions such as social or political variability. We propose an approach for detecting semantic shifts between different viewpoints--broadly defined as a set of texts that share a specific metadata feature, which can be a time-period, but also a social entity such as a political party. For each viewpoint, we learn a semantic space in which each word is represented as a low dimensional neural embedded vector. The challenge is to compare the meaning of a word in one space to its meaning in another space and measure the size of the semantic shifts. We compare the effectiveness of a measure based on optimal transformations between the two spaces with a measure based on the similarity of the neighbors of the word in the respective spaces. Our experiments demonstrate that the combination of these two performs best. We show that the semantic shifts not only occur over time, but also along different viewpoints in a short period of time. For evaluation, we demonstrate how this approach captures meaningful semantic shifts and can help improve other tasks such as the contrastive viewpoint summarization and ideology detection (measured as classification accuracy) in political texts. We also show that the two laws of semantic change which were empirically shown to hold for temporal shifts also hold for shifts across viewpoints. These laws state that frequent words are less likely to shift meaning while words with many senses are more likely to do so.

研究动机与目标

• 研究语义漂移不仅发生在时间维度上，也发生在社会和政治观点之间，例如政党之间。
• 开发一种量化方法，用于衡量在不同观点特定语料上训练的词嵌入之间的语义漂移。
• 评估已知的语义变化规律（如频率效应和多义性效应）是否不仅适用于时间维度，也适用于意识形态或社会维度。
• 利用计算出的词语稳定性度量，改进下游自然语言处理任务，如对比性观点摘要和意识形态检测。
• 探索该框架在现实话语中的适用性，包括政治演讲和媒体文本。

提出的方法

• 针对每个观点（例如英国议会中的保守党和工党）分别训练词嵌入空间，基于观点标注语料的分布语义学方法。
• 应用线性变换（通过最优传输或回归）将一个嵌入空间中的词向量映射到另一个空间，以评估跨空间的语义相似性。
• 构建基于图的邻域相似性度量，其中词相似性基于每个观点嵌入空间中邻近词的余弦相似性计算。
• 将线性映射与邻域相似性结合，形成混合稳定性度量，以提高鲁棒性和性能。
• 将所得的词语稳定性得分用作下游任务（如文档分类和对比摘要）的特征。
• 在英国议会听证记录和《纽约时报》数据集上评估该框架，比较不同观点对和时间周期下的性能表现。

实验结果

研究问题

• RQ1 语义漂移在词语意义上的发生程度，是否不仅限于时间维度，也存在于不同政治或社会观点之间？
• RQ2 线性映射和邻域相似性度量在检测观点特定词嵌入空间之间语义漂移方面的有效性如何？
• RQ3 既定的语义变化规律（如符合性定律：高频词更稳定，创新性定律：多义词更不稳定）是否在非时间维度（如政治意识形态）上依然成立？
• RQ4 词语稳定性度量能否提升下游自然语言处理任务（如意识形态检测和对比性观点摘要）的性能？
• RQ5 在文档级政党分类任务中，扩展词数量（不稳定的词）如何影响分类性能？

主要发现

• 线性映射与邻域相似性度量的结合在检测语义漂移方面表现最佳，优于单独使用任一方法。
• 语义漂移不仅发生在时间维度上，也存在于政党之间，例如保守党和工党议员对“democracy”一词的解释存在差异。
• 符合性定律（高频词更不易漂移）强烈预测了词语的稳定性，而创新性定律（多义性增加不稳定性）的影响则微乎其微。
• 本研究提出了一项新定律：更具体的词语对观点差异的敏感性更低，表现出更强的语义稳定性。
• 在政党分类任务中，增加最多5个扩展词（不稳定的词）可提升F1分数，但超过5个词后性能因文档相似性增加而下降。
• 该框架成功提升了对比性观点摘要和意识形态检测的性能，证明了其在识别群体间分歧性话语方面的实际应用价值。