[论文解读] Text classification with word embedding regularization and soft similarity measure

Vít Novotný, Eniafe Festus Ayetiran+2 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling被引用 7

一句话总结

本论文通过正交化与量化提出词嵌入正则化方法，以提升文本分类的性能与效率。实验表明，结合正则化嵌入的软余弦相似度（SCM）在准确率与速度上均优于词移距离（WMD）——实现平均39%的测试误差降低，且推理速度提升逾10,000倍，使其适用于资源受限系统的实际部署。

ABSTRACT

Since the seminal work of Mikolov et al., word embeddings have become the preferred word representations for many natural language processing tasks. Document similarity measures extracted from word embeddings, such as the soft cosine measure (SCM) and the Word Mover's Distance (WMD), were reported to achieve state-of-the-art performance on semantic text similarity and text classification. Despite the strong performance of the WMD on text classification and semantic text similarity, its super-cubic average time complexity is impractical. The SCM has quadratic worst-case time complexity, but its performance on text classification has never been compared with the WMD. Recently, two word embedding regularization techniques were shown to reduce storage and memory costs, and to improve training speed, document processing speed, and task performance on word analogy, word similarity, and semantic text similarity. However, the effect of these techniques on text classification has not yet been studied. In our work, we investigate the individual and joint effect of the two word embedding regularization techniques on the document processing speed and the task performance of the SCM and the WMD on text classification. For evaluation, we use the $k$NN classifier and six standard datasets: BBCSPORT, TWITTER, OHSUMED, REUTERS-21578, AMAZON, and 20NEWS. We show 39% average $k$NN test error reduction with regularized word embeddings compared to non-regularized word embeddings. We describe a practical procedure for deriving such regularized embeddings through Cholesky factorization. We also show that the SCM with regularized word embeddings significantly outperforms the WMD on text classification and is over 10,000 times faster.

研究动机与目标

• 评估词嵌入正则化对文档级任务（尤其是文本分类）的影响。
• 比较在使用正则化词嵌入时，软余弦相似度（SCM）与词移距离（WMD）在性能与效率上的表现。
• 探究减少内存占用并提升训练速度的正则化技术是否也能增强分类准确率。
• 建立一种基于Cholesky分解与正交化的实用方法，用于生成正则化词嵌入。
• 通过在正则化嵌入上用SCM替代WMD，实现适用于移动与嵌入式系统的高效、高性能文本分类。

提出的方法

• 使用Cholesky分解对词嵌入进行正交化，以减少冗余并提升相似度矩阵的稀疏性。
• 通过量化降低嵌入维度与内存占用，同时保持语义保真度。
• 通过修改相似度矩阵以强化无关词语之间的负相似度，将正则化整合至软余弦相似度（SCM）中。
• 在六个基准数据集上通过网格搜索优化SCM超参数（如$C$、$o$、$t$、$k$、IDF、对称性、领域等）。
• 使用正则化与非正则化嵌入，在k-近邻（k-NN）分类器中实现文档分类，对比SCM与WMD的性能。
• 利用Cholesky分解从预训练词向量中推导正交化嵌入，确保数学一致性与计算效率。

实验结果

研究问题

• RQ1 词嵌入正则化是否能在超越词级任务的文本分类任务中提升性能？
• RQ2 在文本分类任务中，结合正则化嵌入的软余弦相似度（SCM）相较于词移距离（WMD）表现如何？
• RQ3 正交化与量化对文档处理速度与分类准确率有何影响？
• RQ4 正则化嵌入能否使SCM在速度与准确率方面成为WMD的实用替代方案？
• RQ5 在多样化文本分类数据集上，何种最优超参数配置可最大化SCM在正则化嵌入上的性能？

主要发现

• 结合正则化词嵌入的软余弦相似度（SCM）相较非正则化嵌入，使k-NN测试误差平均降低39%。
• 在全部六个基准数据集上，结合正则化嵌入的SCM显著优于WMD，包括在bbcsport、twitter、ohsumed、reuters-21578、amazon与20news上的k-NN分类任务。
• 结合正则化嵌入的SCM比WMD快逾10,000倍，其中在20news数据集上实现13,685倍的速度提升，归因于时间复杂度的降低。
• 量化嵌入降低了无关词语间余弦相似度的正向偏差，提升了文档可分性并降低了k-NN测试误差。
• 正交化将SCM的最坏情况时间复杂度从二次方降低至线性，尽管稀疏矩阵运算导致相比密集SCM出现2.73倍的延迟。
• SCM在正交化嵌入上的最优参数配置为：多数数据集的$C=100$、$o=4$、$t=-1$、$k=1$，且IDF与对称性设置对性能至关重要。