[论文解读] Semi-orthogonal Non-negative Matrix Factorization with an Application in Text Mining

Jack Yutong Li, Ruoqing Zhu+3 more|arXiv (Cornell University)|May 7, 2018

Topic Modeling参考文献 49被引用 5

一句话总结

本文提出了一种新型的半正交非负矩阵分解（SONMF）方法，通过在基矩阵中强制实现严格正交性，以提升高维、稀疏且嘈杂的分诊记录在可解释性和分类性能方面的表现。通过生成不相关的非负主题向量，SONMF在提高急诊科患者去向预测准确性的同时，为患者症状和住院原因提供了具有临床意义的洞察。

ABSTRACT

Emergency Department (ED) crowding is a worldwide issue that affects the efficiency of hospital management and the quality of patient care. This occurs when the request for an admit ward-bed to receive a patient is delayed until an admission decision is made by a doctor. To reduce the overcrowding and waiting time of ED, we build a classifier to predict the disposition of patients using manually-typed nurse notes collected during triage, thereby allowing hospital staff to begin necessary preparation beforehand. However, these triage notes involve high dimensional, noisy, and also sparse text data which makes model fitting and interpretation difficult. To address this issue, we propose the semi-orthogonal non-negative matrix factorization (SONMF) for both continuous and binary design matrices to first bi-cluster the patients and words into a reduced number of topics. The subjects can then be interpreted as a non-subtractive linear combination of orthogonal basis topic vectors. These generated topic vectors provide the hospital with a direct understanding of the cause of admission. We show that by using a transformation of basis, the classification accuracy can be further increased compared to the conventional bag-of-words model and alternative matrix factorization approaches. Through simulated data experiments, we also demonstrate that the proposed method outperforms other non-negative matrix factorization (NMF) methods in terms of factorization accuracy, rate of convergence, and degree of orthogonality.

研究动机与目标

• 通过利用分诊记录更早预测患者去向，以应对急诊科拥挤问题。
• 克服人工录入护士记录中高维性、稀疏性和噪声带来的挑战。
• 为医疗保健中的文本数据开发一种更具可解释性和数值稳定的矩阵分解方法。
• 利用潜在主题表示提升患者去向分类的准确性。
• 通过主题建模为患者住院原因提供具有临床意义的洞察。

提出的方法

• 提出半正交非负矩阵分解（SONMF），将矩阵分解为正交基矩阵和非负系数矩阵。
• 放松对正交因子矩阵的非负性约束，以实现严格正交性，避免现有方法中近似正交性的问题。
• 将SONMF应用于连续和二值数据结构，使其适用于多样化的文本挖掘应用。
• 通过基变换提升分类性能，优于传统的词袋模型和标准NMF方法。
• 采用非负矩阵分解框架，其中基向量代表主题，系数代表患者-主题分配。
• 通过带正交性约束的交替非负最小二乘法实现优化，以确保数值稳定性和降低多重共线性。

实验结果

研究问题

• RQ1 与标准NMF和词袋模型相比，SONMF是否能提升患者去向预测的分类准确性？
• RQ2 在基矩阵中强制实现严格正交性是否能提升主题建模的可解释性并降低多重共线性？
• RQ3 SONMF能否有效从稀疏、嘈杂的分诊记录中提取具有临床意义的主题？
• RQ4 与现有NMF变体相比，SONMF在收敛速度和分解准确性方面表现如何？
• RQ5 生成的主题向量是否能帮助医院更早识别关键症状和住院原因？

主要发现

• SONMF通过利用正交、非负的主题向量，在分类准确性方面显著优于传统的词袋模型和标准NMF方法。
• 在模拟数据实验中，该方法相较于现有NMF方法实现了更高的分解准确性和更快的收敛速度。
• 基矩阵中的严格正交性降低了多重共线性并增强了数值稳定性，支持可靠的下游分类。
• 主题解释具有高度可解释性：例如，在下肢损伤数据集中，主题1明确识别出地面跌倒，而主题3捕捉到与骑自行车相关的膝部损伤。
• 在中风症状数据集中，SONMF成功区分了‘左侧’与‘右侧’症状，并将‘持续性’与‘不稳定性’作为对立概念分离。
• 该方法生成了不重叠、语义上不同的主题，负权重词语通常代表镜像对称的临床状态（如左与右），证实其能够有效区分临床上不同的状态。