[论文解读] Multidimensional counting grids: Inferring word order from disordered bags of words

Nebojša Jojić, Alessandro Perina|arXiv (Cornell University)|Jul 14, 2011

Machine Learning in Bioinformatics参考文献 23被引用 28

一句话总结

本文提出多维计数网格作为一种新颖方法，通过建模文档间主题主题的平滑连续变化，从无序词袋中推断词序。通过将线性窗口分布扩展至多维空间，该方法比标准主题模型更有效地捕捉数据中的潜在顺序，显著提升了在生物、文本和计算机视觉应用中的分类与预测任务性能。

ABSTRACT

Models of bags of words typically assume topic mixing so that the words in a single bag come from a limited number of topics. We show here that many sets of bag of words exhibit a very different pattern of variation than the patterns that are efficiently captured by topic mixing. In many cases, from one bag of words to the next, the words disappear and new ones appear as if the theme slowly and smoothly shifted across documents (providing that the documents are somehow ordered). Examples of latent structure that describe such ordering are easily imagined. For example, the advancement of the date of the news stories is reflected in a smooth change over the theme of the day as certain evolving news stories fall out of favor and new events create new stories. Overlaps among the stories of consecutive days can be modeled by using windows over linearly arranged tight distributions over words. We show here that such strategy can be extended to multiple dimensions and cases where the ordering of data is not readily obvious. We demonstrate that this way of modeling covariation in word occurrences outperforms standard topic models in classification and prediction tasks in applications in biology, text modeling and computer vision.

研究动机与目标

• 解决标准主题模型在捕捉文档间词分布平滑连续变化方面的局限性。
• 在文档顺序未明确给出的情况下，建模词共现模式渐变演化的潜在顺序。
• 开发一种将线性窗口分布扩展至多维空间的方法，以捕捉词频的复杂多方向变化。
• 提升在文本建模、生物和计算机视觉等现实应用中的分类与预测性能。
• 证明可通过基于结构化网格的词共变表示，有效从无序词袋中推断词序。

提出的方法

• 该方法通过在潜在顺序上使用重叠滑动窗口，对文档间词分布进行建模，假设主题主题呈现平滑过渡。
• 将此窗口方法扩展至多维空间，以捕捉高维数据中复杂非线性顺序模式。
• 使用计数网格结构表示网格中各位置的词频，每个单元格编码多维空间中局部区域的词频计数。
• 模型假设词的出现随网格平滑变化，反映主题的渐进演化，并利用此特性推断潜在顺序。
• 该方法利用网格的空间结构，比传统主题模型更有效地建模词出现的共变关系。
• 将基于网格的表示应用于分类与预测任务，利用推断出的结构提升性能。

实验结果

研究问题

• RQ1 通过建模词分布的平滑连续变化，能否有效从无序词袋中推断词序？
• RQ2 与标准主题模型相比，基于多维网格的词共变表示在捕捉潜在顺序方面表现如何？
• RQ3 在哪些应用场景中，基于网格的方法在分类与预测任务中优于传统主题模型？
• RQ4 该方法能否检测并建模在文档顺序不明显时数据中的非线性或多方向顺序模式？
• RQ5 在网格结构中使用重叠窗口对建模文档间主题演化有何影响？

主要发现

• 多维计数网格方法在包括生物、文本建模和计算机视觉在内的多个领域中，均显著优于标准主题模型在分类与预测任务中的表现。
• 该方法在词分布随时间或空间平滑演变的数据中，成功推断出潜在顺序，即使未提供明确的文档顺序。
• 通过基于结构化网格建模词共变，该方法比主题混合模型更有效地捕捉复杂多向变化。
• 在直线和多维网格上使用重叠窗口，能够准确表示文档间主题的演化过程。
• 该模型在捕捉主题演化方面表现优异，例如在新闻故事中主题随时间渐进变化的情形。
• 结果证实，通过基于网格的空间建模词频，可有意义地从无序词袋中重构词序。