[论文解读] Structured Embedding Models for Grouped Data

Maja Rudolph, Francisco Ruíz+2 more|arXiv (Cornell University)|Sep 28, 2017

Media Influence and Politics参考文献 32被引用 6

一句话总结

本文提出结构化指数族嵌入（s-efe），一种通过分层建模或迁移学习共享统计强度，在组间共享统计强度的同时学习组特定词嵌入的方法。s-efe在预测保留数据方面优于标准指数族嵌入（efe），并能实现对国会各州、政党及ArXiv学科间词使用差异的可解释性发现。

ABSTRACT

Word embeddings are a powerful approach for analyzing language, and exponential family embeddings (EFE) extend them to other types of data. Here we develop structured exponential family embeddings (S-EFE), a method for discovering embeddings that vary across related groups of data. We study how the word usage of U.S. Congressional speeches varies across states and party affiliation, how words are used differently across sections of the ArXiv, and how the co-purchase patterns of groceries can vary across seasons. Key to the success of our method is that the groups share statistical information. We develop two sharing strategies: hierarchical modeling and amortization. We demonstrate the benefits of this approach in empirical studies of speeches, abstracts, and shopping baskets. We show how S-EFE enables group-specific interpretation of word usage, and outperforms EFE in predicting held-out data.

研究动机与目标

• 建模词使用在相关数据组（如美国各州、政党或学科领域）中的变化方式。
• 通过在组间共享统计强度，缓解低资源组的数据稀缺问题，避免因每组独立建模导致的过拟合。
• 实现对语言和共现模式语义差异的可解释性、组特定分析。
• 将指数族嵌入（efe）扩展至具有原则性共享机制的结构化分组数据。
• 在真实世界文本和交易数据上，展示该方法在预测性能和可解释性方面的优越性。

提出的方法

• 提出s-efe，作为efe的扩展，为每个组学习独立的嵌入向量，同时在所有组之间共享上下文向量。
• 使用分层建模将组特定嵌入与全局先验联系起来，通过共享超参数结构实现信息共享。
• 通过神经网络（特别是残差网络）进行迁移学习，将全局嵌入映射到组特定嵌入，降低参数数量。
• 采用随机优化以扩展模型至大规模数据集，如国会演讲和杂货交易日志。
• 在组间共享上下文向量，确保嵌入位于同一潜在空间中，实现有意义的比较。
• 在市场篮子数据中使用泊松似然进行共现建模，在文本数据中使用多项式似然。

实验结果

研究问题

• RQ1 如何建模词使用在如美国各州或政党等组之间的语义差异？
• RQ2 哪些机制能有效实现数据量不同的组之间的统计共享？
• RQ3 在不同组数下，分层建模与迁移学习在性能和可扩展性方面如何比较？
• RQ4 与标准efe相比，s-efe能否在保留数据上的预测性能上取得提升？
• RQ5 哪些词在特定组之间表现出最显著的用法差异，且这些差异是否具有可解释性？

主要发现

• 在所有三个数据集（ArXiv摘要、美国国会演讲、杂货市场篮子数据）中，s-efe在保留对数似然上均优于标准efe。
• 在所有实验中，采用残差网络的迁移s-efe模型均优于前馈网络，尤其在捕捉细微的组特定差异方面表现更优。
• 德克萨斯州的共和党参议员在与其它参议员不同的语境中使用了'border'和'our country'这两个词，这一发现由s-efe识别出。
• 在ArXiv中，'intelligence'在计算机科学中与'artificial'和'ai'相关联，但在定量金融中则与'abilities'和'consciousness'相关联，揭示了领域特定的语义演变。
• 当组数较多时，分层s-efe模型表现更优；而当组数较少时，迁移s-efe因参数效率更高而更有效。
• s-efe成功识别出州和政党特定的词使用差异，例如'washington'在不同州中与'president'或'dc'相关联，而这种关联超越了简单的频率效应。