[论文解读] SoulMate: Short-text author linking through Multi-aspect temporal-textual embedding

Saeed Najafipour, Saeid Hosseini+3 more|arXiv (Cornell University)|Oct 27, 2019

Topic Modeling参考文献 68被引用 5

一句话总结

SoulMate 提出了一种多方面的时间-文本嵌入框架，用于短文本作者关联，通过联合建模内容、概念和时间动态来提升相似度估计。通过融合时间感知词嵌入、无监督概念聚类和加权图挖掘，其在知识中心基线方法上表现更优，最优性能出现在 α=0.6 且采用 k-medoids 聚类时。

ABSTRACT

Linking authors of short-text contents has important usages in many applications, including Named Entity Recognition (NER) and human community detection. However, certain challenges lie ahead. Firstly, the input short-text contents are noisy, ambiguous, and do not follow the grammatical rules. Secondly, traditional text mining methods fail to effectively extract concepts through words and phrases. Thirdly, the textual contents are temporally skewed, which can affect the semantic understanding by multiple time facets. Finally, using the complementary knowledge-bases makes the results biased to the content of the external database and deviates the understanding and interpretation away from the real nature of the given short text corpus. To overcome these challenges, we devise a neural network-based temporal-textual framework that generates the tightly connected author subgraphs from microblog short-text contents. Our approach, on the one hand, computes the relevance score (edge weight) between the authors through considering a portmanteau of contents and concepts, and on the other hand, employs a stack-wise graph cutting algorithm to extract the communities of the related authors. Experimental results show that compared to other knowledge-centered competitors, our multi-aspect vector space model can achieve a higher performance in linking short-text authors. Additionally, given the author linking task, the more comprehensive the dataset is, the higher the significance of the extracted concepts will be.

研究动机与目标

• 解决短文本作者关联中的挑战，包括内容噪声、时间偏移以及缺乏概念相关性检测。
• 通过直接从推文聚类中学习概念，消除外部知识库带来的偏差。
• 对多个时间维度（如小时、季节）建模时间-文本关系，以提升语义理解。
• 通过加权融合内容表示与概念表示，提升作者相似度。
• 利用逐层图切割算法在加权相似度图上提取高质量作者子图。

提出的方法

• 采用时间感知的集体词嵌入模型，捕捉跨多个时间维度（如星期几、季节）的词语邻近性。
• 通过词向量的平均或求和聚合生成推文级向量，其中集体模型优于 CBOW。
• 应用无监督聚类（DBSCAN 或 k-medoids）将推文聚类为概念簇，使用聚类中心作为作者概念向量。
• 通过超参数 α 控制的内容基（X^Content）与概念基（X^Concept）矩阵的加权融合计算作者相似度。
• 在融合后的相似度矩阵上应用逐层图切割算法，提取最大生成树作为作者子图。
• 通过加权精确率指标优化聚类与融合参数，k-medoids 在鲁棒性上优于 DBSCAN。

实验结果

研究问题

• RQ1 跨多个时间维度（如小时、季节）的时间-文本证据如何提升短文本作者相似度估计？
• RQ2 从原始推文空间进行无监督概念聚类，能否在作者关联任务中超越知识库增强方法？
• RQ3 在多方面作者关联中，内容基与概念基相似度的最优平衡点是什么？
• RQ4 不同聚类算法（k-medoids 与 DBSCAN）对提取的作者子图质量有何影响？
• RQ5 向量聚合策略（求和与平均）对作者概念向量精度有何影响？

主要发现

• 时间感知集体词嵌入模型相比 CBOW，使文本精确率提升约 7%，概念精确率提升 4%。
• k-medoids 聚类在概念发现方面优于 DBSCAN，在不同 ζ 值下均保持稳定精确率，尤其在 K=22 时表现更优。
• 内容与概念相似度的最优融合比例为 α=0.6，此时 P_Textual 与 P_Conceptual 均达到峰值性能。
• 当 α 超过 0.8 时性能急剧下降，表明不能过度牺牲内容相似度以换取概念相关性。
• 该框架通过直接从推文聚类中学习概念，避免了知识库偏差，其精确率高于基于知识库的竞争对手。
• 加权精确率评估确认，k-medoids 在 ζ=10 且 K=22 时，可获得最稳健且准确的概念向量表示。