[论文解读] Semi-supervised and Unsupervised Methods for Categorizing Posts in Web Discussion Forums

Krish Perumal|arXiv (Cornell University)|Apr 1, 2016

Topic Modeling参考文献 17被引用 3

一句话总结

本文提出基于隐马尔可夫模型（HMMs）的无监督与半监督序列模型，利用词和词性（POS）概率分布，结合人工设计的特征，对论坛帖子进行分类，类别包括问题、解决方案、反馈和垃圾信息。半监督变体通过少量标注样本初始化模型先验，显著优于无监督基线方法和当前最先进方法，尤其在问题与解决方案等高频类别上表现突出。

ABSTRACT

Web discussion forums are used by millions of people worldwide to share information belonging to a variety of domains such as automotive vehicles, pets, sports, etc. They typically contain posts that fall into different categories such as problem, solution, feedback, spam, etc. Automatic identification of these categories can aid information retrieval that is tailored for specific user requirements. Previously, a number of supervised methods have attempted to solve this problem; however, these depend on the availability of abundant training data. A few existing unsupervised and semi-supervised approaches are either focused on identifying a single category or do not report category-specific performance. In contrast, this work proposes unsupervised and semi-supervised methods that require no or minimal training data to achieve this objective without compromising on performance. A fine-grained analysis is also carried out to discuss their limitations. The proposed methods are based on sequence models (specifically, Hidden Markov Models) that can model language for each category using word and part-of-speech probability distributions, and manually specified features. Empirical evaluations across domains demonstrate that the proposed methods are better suited for this task than existing ones.

研究动机与目标

• 解决在极少或无标注训练数据情况下的论坛帖子分类挑战。
• 开发在多样化领域与帖子类型下均具鲁棒性的无监督与半监督方法。
• 通过引入语言结构与上下文特征，提升对现有监督与弱监督方法的性能表现。
• 评估纯无监督模型在捕捉复杂论坛帖子语义方面的局限性。
• 探索在分层讨论中进行句子级分类与高阶依赖关系建模的可行性。

提出的方法

• 提出一种基于隐马尔可夫模型（HMMs）的序列建模框架，通过词与词性（POS）概率建模各类别的语言模式。
• 提出一种新颖的半监督HMM变体，利用少量标注线程初始化模型先验，从而提升分类准确率。
• 通过在HMM框架中整合人工指定的特征（如词汇线索与句法模式）以增强分类性能。
• 在无监督设置中使用帖子嵌入，但与基于POS和特征的模型相比，性能提升尚不明确。
• 采用两阶段类别映射方法：首先通过HMM聚类帖子，再利用启发式方法或小规模标注集将聚类结果映射到预定义类别。
• 采用问题-解决方案启发式方法作为基线，并与所提模型对比以验证性能增益。

实验结果

研究问题

• RQ1 无监督HMM模型是否能在无任何标注数据的情况下有效分类论坛帖子？
• RQ2 引入词性标注与人工特征在多大程度上提升了无监督帖子分类的性能？
• RQ3 在半监督HMM框架中使用少量标注样本，与完全无监督方法相比，能否显著提升分类准确率？
• RQ4 为何纯无监督模型尽管优于简单基线，仍无法达到实际可用的性能水平？
• RQ5 句子级分类或高阶马尔可夫模型是否能更好地捕捉分层讨论中的序列依赖关系？

主要发现

• 使用少量标注线程初始化先验的半监督HMM在所有无监督基线中表现最佳，且在问题与解决方案类别上表现尤为突出。
• 结合词性标注与人工特征的无监督HMM模型，其准确率优于仅使用词概率或帖子嵌入的模型。
• 所提出的半监督方法显著优于问题-解决方案启发式基线，尤其在复杂、多类别线程中表现更优。
• 在少数类别如澄清请求（Clarification-Request）与澄清（Clarification）中性能较差，F1分数最高不足0.30，表明其实际应用价值有限。
• 帖子嵌入的使用并未在性能上带来明确提升，相较于特征增强模型，表明在此场景下语言学特征比分布表示更有效。
• 一阶HMM无法捕捉类别间的高阶依赖关系（如必须先有“问题”才可出现“解决方案”），凸显当前模型架构的关键局限。