[论文解读] Tracing cultural diachronic semantic shifts in Russian using word embeddings: test sets and baselines

Vadim Fomin, Daria Bakshandaeva+2 more|arXiv (Cornell University)|May 16, 2019

Language and cultural evolution参考文献 28被引用 6

一句话总结

本文提出了两个用于检测俄语历时语义变化的手动标注测试集：一个涵盖从苏联前到苏联时期的主要意义变化（名词和形容词），另一个捕捉2000–2014年间由社会因素驱动的细微语义变化，并进行细致分类。该研究在这些数据集上评估了四种基于词嵌入的成熟算法，建立了公开可用的基线，F1分数最高达0.767，证明了使用分布模型检测俄语语义变化的可行性。

ABSTRACT

The paper introduces manually annotated test sets for the task of tracing diachronic (temporal) semantic shifts in Russian. The two test sets are complementary in that the first one covers comparatively strong semantic changes occurring to nouns and adjectives from pre-Soviet to Soviet times, while the second one covers comparatively subtle socially and culturally determined shifts occurring in years from 2000 to 2014. Additionally, the second test set offers more granular classification of shifts degree, but is limited to only adjectives. The introduction of the test sets allowed us to evaluate several well-established algorithms of semantic shifts detection (posing this as a classification problem), most of which have never been tested on Russian material. All of these algorithms use distributional word embedding models trained on the corresponding in-domain corpora. The resulting scores provide solid comparison baselines for future studies tackling similar tasks. We publish the datasets, code and the trained models in order to facilitate further research in automatically detecting temporal semantic shifts for Russian words, with time periods of different granularities.

研究动机与目标

• 建立俄语时间语义变化自动检测的基础，特别是由社会和文化因素驱动的变化。
• 创建并发布两个互补的手动标注测试集，覆盖不同的时间粒度和变化类型。
• 在俄语数据上评估成熟的语义变化检测算法，提供公开可用的基线性能分数。
• 通过发布数据集、代码和训练好的词嵌入模型，支持未来的研究。

提出的方法

• 在两个数据集中手动标注了186个词：一个聚焦于苏联前至苏联时期的强烈语义变化，另一个聚焦于2000–2014年间由社会因素驱动的细微变化。
• 在对应每个时间阶段的领域内语料上训练静态和增量式词嵌入模型。
• 应用四种成熟算法——Global Anchors、Procrustes、Kendall和Jaccard——通过向量空间比较检测语义变化。
• 使用Procrustes对齐方法对不同时期的词向量进行归一化，以实现语义漂移的有意义比较。
• 使用宏平均和微平均F1分数评估方法，并采用多方法结合的综合策略以提升性能。
• 通过GitHub发布所有数据集、代码和训练好的模型，以确保可复现性并促进未来研究。

实验结果

研究问题

• RQ1 成熟的基于词嵌入的方法在检测俄语历时语义变化方面效果如何，特别是在由社会和文化因素驱动的变化中？
• RQ2 在俄语语义变化检测任务中，局部方法（如最近邻）与全局方法（如向量对齐）哪种表现更优？
• RQ3 当时间阶段区分明显时，静态词嵌入是否能优于增量式词嵌入以检测语义变化？
• RQ4 对语义变化强度进行细致分类在检测细微语义变化时能多大程度上提升检测性能？
• RQ5 未来关于俄语历时语义变化研究的可靠基线应如何界定？

主要发现

• 在'宏'数据集上，Procrustes方法取得了0.767的最高F1分数，优于其他方法，表明其在检测苏联前至苏联时期强烈语义变化方面表现最佳。
• 在'微'数据集上，该数据集包含2000–2014年间由社会因素驱动的细微变化，综合方法取得了0.503的最佳F1分数，表明集成方法在细粒度变化检测中具有有效性。
• 静态词嵌入始终优于增量式词嵌入，尤其在'微'数据集中表现更优，表明全局对齐方法可有效补偿训练随机性的影响。
• Kendall和Jaccard方法表现显著较差，'微'数据集上的F1分数低于0.30，表明其在检测细微变化方面效果有限。
• 所有评估方法的F1分数均显著高于随机水平（'宏'数据集约为0.5，'微'数据集约为0.33），证实了使用分布模型检测俄语语义变化的可行性。
• 发布标注数据集、训练好的模型和代码，为未来俄语历时语义研究提供了坚实且公开可用的基线。