[论文解读] StarSpace: Embed All The Things!

Ledell Wu, Adam Fisch+4 more|arXiv (Cornell University)|Sep 12, 2017

Topic Modeling参考文献 21被引用 92

一句话总结

StarSpace 是一种通用的神经嵌入模型，将离散特征实体嵌入并在共用空间中比较，用于标签化、排序、推荐和图嵌入任务。

ABSTRACT

We present StarSpace, a general-purpose neural embedding model that can solve a wide variety of problems: labeling tasks such as text classification, ranking tasks such as information retrieval/web search, collaborative filtering-based or content-based recommendation, embedding of multi-relational graphs, and learning word, sentence or document level embeddings. In each case the model works by embedding those entities comprised of discrete features and comparing them against each other -- learning similarities dependent on the task. Empirical results on a number of tasks show that StarSpace is highly competitive with existing methods, whilst also being generally applicable to new cases where those methods are not.

研究动机与目标

• 开发一个通用嵌入模型，能够在不同领域处理标注、排序和嵌入任务。
• 证明 StarSpace 在多项任务上与专门方法具有竞争力。
• 展示对样本外实体的自然处理以及多类型比较。
• 提供一个开源实现，以便广泛采用和实验。

提出的方法

• 将每个实体表示为来自固定词典的离散特征的袋。
• 将特征嵌入到共享的 d 维空间中，并通过对特征嵌入求和来形成实体嵌入。
• 使用基于边距的损失结合负采样来区分正对与负对进行训练。
• 在损失中将相似度函数（余弦相似度或内积）作为排序/分类的基础。
• 在 CPU 上应用带 Adagrad 和 Hogwild 的随机梯度下降，以及对嵌入的最大范数约束。
• 提供针对分类、推荐和知识图谱连接任务的正/负对生成器（E+, E−）。

实验结果

研究问题

• RQ1 单一嵌入框架是否能够有效地执行文本分类、文档/文档排序、协同/基于内容的过滤和知识图谱嵌入？
• RQ2 在多样化任务中，StarSpace 相对于任务特定基线（如 fastText、TransE、TFIDF、SVM）的表现如何？
• RQ3 通过将用户/项目/标签特征化为特征袋，模型是否能自然处理样本外实体？
• RQ4 负样本数量（k）对性能和训练效率的影响是什么？

主要发现

• StarSpace 在文本分类基准测试中与 fastText 相竞争，在文档推荐任务中表现出色。
• 在 Freebase 15k 上，StarSpace 在链接预测方面与 TransE 相当，嵌入维度也相当。
• 在维基百科搜索和句子匹配中，StarSpace 通过直接针对任务（句子/文档级别）进行训练，超越了若干基线。
• StarSpace 通过基于特征的表示而不是固定ID为用户/项目提供样本外扩展。
• 增加负样本参数 k 表现出训练速度与预测性能之间的权衡，在某些范围内在时间限制内达到最佳结果。