[论文解读] openXBOW - Introducing the Passau Open-Source Crossmodal Bag-of-Words Toolkit

Maximilian Schmitt, Björn W. Schuller|arXiv (Cornell University)|May 22, 2016

Text and Document Classification Technologies参考文献 21被引用 28

一句话总结

openXBOW 是一个开源的 Java 工具包，用于从多模态数据（包括文本、音频和视觉特征）生成跨模态词袋（BoW）表示。它通过向量量化和 TF-IDF 加权实现基于直方图的特征融合，在基于语音的情感识别和 Twitter 情感分析任务中均达到最先进性能，优于先前的方法。

ABSTRACT

We introduce openXBOW, an open-source toolkit for the generation of bag-of-words (BoW) representations from multimodal input. In the BoW principle, word histograms were first used as features in document classification, but the idea was and can easily be adapted to, e.g., acoustic or visual low-level descriptors, introducing a prior step of vector quantisation. The openXBOW toolkit supports arbitrary numeric input features and text input and concatenates computed subbags to a final bag. It provides a variety of extensions and options. To our knowledge, openXBOW is the first publicly available toolkit for the generation of crossmodal bags-of-words. The capabilities of the tool are exemplified in two sample scenarios: time-continuous speech-based emotion recognition and sentiment analysis in tweets where improved results over other feature representation forms were observed.

研究动机与目标

• 解决缺乏公开可用工具来从异构数据模态（如文本、音频和视觉特征）生成跨模态词袋表示的问题。
• 使研究人员能够通过基于直方图的向量量化和 TF-IDF 加权，轻松地将多种模态组合生成融合的 BoW 表示。
• 提供一个灵活的开源框架，支持多种特征类型、量化方法和预处理选项，适用于多模态机器学习任务。
• 展示跨模态 BoW 表示在实际应用中的有效性，包括情感识别和情感分类。
• 为未来扩展（如软聚类和时间建模技术）奠定基础。

提出的方法

• 该工具包处理 ARFF、CSV 或 LIBSVM 格式的输入数据，支持数值特征（如 MFCC、LLDs）和文本输入。
• 应用可选的预处理步骤（如语音活动检测和特征归一化）以提高表示质量。
• 通过 k-means 或随机采样生成的码书执行向量量化，支持硬量化或软量化（例如，未来扩展中使用 EM 聚类）。
• 应用词频和 TF-IDF 加权以减少罕见或过度频繁词的影响，提升判别能力。
• 对于文本，支持 n-gram（最多至 2-gram）和词频过滤（通过 minTermFreq 和 maxTermFreq），以优化词典。
• 最终的特征向量通过拼接各模态特定的直方图表示生成，支持使用标准分类器（如 SVM）进行多模态分类。

实验结果

研究问题

• RQ1 一个统一的开源工具包能否有效从多样化输入模态（如文本、音频和视觉特征）生成跨模态词袋表示？
• RQ2 openXBOW 生成的 BoW 特征在多模态情感识别和情感分析任务中的性能，与现有特征表示相比如何？
• RQ3 预处理步骤（如归一化和词频过滤）在跨模态 BoW 框架中对分类准确率的提升程度如何？
• RQ4 openXBOW 能否在单一统一的流水线中，为单模态和多模态应用提供灵活且可扩展的特征工程支持？
• RQ5 openXBOW 在未来集成软聚类和时间建模等先进技术于跨模态表示学习方面的潜力如何？

主要发现

• 在连续时间的语音情感识别中，openXBOW 在基线特征表示之上实现了性能提升，证明了其在多模态情感识别中的有效性。
• 在 Twitter 情感分析中，使用线性 SVM 时，openXBOW 达到了 77.28% 的加权准确率和 77.29% 的未加权准确率，优于报告的最先进准确率 75%。
• 最优词典大小为 1,875 个词，通过最小词频 500 和最大词频 100,000 筛除无关词。
• 出人意料的是，使用 2-gram 并未提升性能；仅使用 unigram 表示在情感分类任务中表现最佳。
• 该工具包支持在线和离线处理，归一化和加权参数存储在码书中，确保测试数据的一致应用。
• 作者确认 openXBOW 是首个公开可用的跨模态词袋表示工具包，填补了多模态机器学习工具链中的关键空白。