[论文解读] Toward Interpretable Topic Discovery via Anchored Correlation Explanation

Kyle Reing, David C. Kale+2 more|arXiv (Cornell University)|Jun 22, 2016

Topic Modeling参考文献 23被引用 6

一句话总结

本文提出 Anchored CorEx，一种新颖的信息论框架，结合了总相关性解释（CorEx）与信息瓶颈方法，以在文本中发现可解释的、由人类引导的潜在主题。通过使用非正式的专家提供的锚定词（例如 'diabetes'、'insulin'），该方法提升了主题的一致性和可解释性，在临床和新闻组数据的弱监督分类任务中表现更优，优于无监督 CorEx 和朴素贝叶斯基线方法在 Obesity Challenge 数据集上的表现。

ABSTRACT

Many predictive tasks, such as diagnosing a patient based on their medical chart, are ultimately defined by the decisions of human experts. Unfortunately, encoding experts' knowledge is often time consuming and expensive. We propose a simple way to use fuzzy and informal knowledge from experts to guide discovery of interpretable latent topics in text. The underlying intuition of our approach is that latent factors should be informative about both correlations in the data and a set of relevance variables specified by an expert. Mathematically, this approach is a combination of the information bottleneck and Total Correlation Explanation (CorEx). We give a preliminary evaluation of Anchored CorEx, showing that it produces more coherent and interpretable topics on two distinct corpora.

研究动机与目标

• 为了解决以对人类实用且对机器学习有效的形式编码专家知识的挑战，特别是在主题建模中。
• 通过使用非正式的、模糊的领域知识作为锚定词，提升从文本语料中发现的潜在主题的可解释性和一致性。
• 在全标注不可行的低资源环境下，通过锚定词作为类别标签的代理，实现弱监督学习。
• 开发一种灵活、交互式的框架，允许用户通过领域相关关键词迭代优化主题模型。
• 证明通过相关性变量锚定潜在因子可同时提升主题质量与下游分类性能。

提出的方法

• 该方法将 CorEx 的总相关性目标与信息瓶颈的互信息最大化相结合，联合优化多变量依赖关系与锚定变量的相关性。
• 其目标函数旨在最大化观测变量与潜在因子之间的总相关性，同时保留潜在因子与指定锚定变量之间的互信息。
• 核心优化使用总相关性的下界以确保训练可行性，并施加稀疏连接约束（每个词仅属于一个主题）以提升计算效率。
• 使用锚定词（如 'diabetes'、'sleep apnea'）引导主题发现，每个锚定词与一个或多个潜在因子关联，以施加语义结构。
• 该框架支持迭代优化：用户可添加或移除锚定词以提升主题的特异性和一致性。
• 该方法基于开源 CorEx 库实现，并在临床笔记和 20 Newsgroups 数据上进行了评估。

实验结果

研究问题

• RQ1 非正式的、专家提供的锚定词是否能提升无监督主题建模所发现主题的可解释性和一致性？
• RQ2 与标准 CorEx 相比，使用领域相关关键词锚定潜在因子如何影响主题发现的质量？
• RQ3 当完全标注不可行时，Anchored CorEx 是否可作为有效的弱监督方法用于文档分类？
• RQ4 当数据中存在多个相关条件（如肥胖和 OSA）时，该框架在多大程度上减少了主题分配的歧义？
• RQ5 与无监督 CorEx 或传统基线方法相比，引入锚定词是否能提升下游分类任务的性能？

主要发现

• 当使用 'obesity' 作为锚定词时，Anchored CorEx 有效发现了语义一致且具体的 'Obesity' 主题，包括 'acebutolol' 和 'klonopin' 等相关药物。
• 当在 OSA 主题中添加第二个锚定词 'obstructive sleep apnea' 后，生成的主题变得高度具体且相关，包含呼吸系统症状和 OSA 相关药物，成功解决了与肥胖高度相关带来的歧义。
• 在 20 Newsgroups 数据集中，Anchored CorEx 在 'soc.religion.christianity' 类别上达到 Macro-F1 0.5328 和 Macro-AUC 0.7445，优于无监督 CorEx（F1: 0.45，AUC: 0.7120）和朴素贝叶斯基线（F1: 0.4638）。
• 在 Obesity 2008 Challenge 数据集上，Anchored CorEx 在 Macro-F1 和 Macro-AUC 上均优于朴素贝叶斯基线，尽管其本质上是无监督方法。
• 引入锚定词显著提升了主题一致性，且在其他主题上未造成性能下降，即使在多个高度相关的疾病共现时亦然。
• 该框架表现出鲁棒性和灵活性，用户可通过添加或移除锚定词迭代优化主题，以提升可解释性。