[论文解读] Multinomial Inverse Regression for Text Analysis

Matt Taddy|arXiv (Cornell University)|Dec 9, 2010

Statistical Methods and Inference参考文献 54被引用 4

一句话总结

本文提出多项式逆回归（MNIR）用于文本分析，采用伽马-套索估计方法在高维文本数据中实现情感充分降维。通过将短语计数建模为情感标注的多项式响应，MNIR 提取低维文档评分，保留情感相关的信息，从而在预测准确性和计算效率方面优于现有方法，实现高效的下游回归。

ABSTRACT

Text data, including speeches, stories, and other document forms, are often connected to sentiment variables that are of interest for research in marketing, economics, and elsewhere. It is also very high dimensional and difficult to incorporate into statistical analyses. This article introduces a straightforward framework of sentiment-preserving dimension reduction for text data. Multinomial inverse regression is introduced as a general tool for simplifying predictor sets that can be represented as draws from a multinomial distribution, and we show that logistic regression of phrase counts onto document annotations can be used to obtain low dimension document representations that are rich in sentiment information. To facilitate this modeling, a novel estimation technique is developed for multinomial logistic regression with very high-dimension response. In particular, independent Laplace priors with unknown variance are assigned to each regression coefficient, and we detail an efficient routine for maximization of the joint posterior over coefficients and their prior scale. This "gamma-lasso" scheme yields stable and effective estimation for general high-dimension logistic regression, and we argue that it will be superior to current methods in many settings. Guidelines for prior specification are provided, algorithm convergence is detailed, and estimator properties are outlined from the perspective of the literature on non-concave likelihood penalization. Related work on sentiment analysis from statistics, econometrics, and machine learning is surveyed and connected. Finally, the methods are applied in two detailed examples and we provide out-of-sample prediction studies to illustrate their effectiveness.

研究动机与目标

• 为解决在仅小部分文本数据被标注情感变量的情况下，将高维文本数据（如文档级短语计数）纳入统计模型的挑战。
• 开发一种降维框架，通过将文本建模为对情感标注的多项式响应，保留与情感相关的信息。
• 提出一种新颖的估计技术——伽马-套索，用于具有未知系数先验方差的高维多项式逻辑回归。
• 通过三个真实世界数据集（美国国会议演讲、餐厅评论、选票份额预测）的样本外预测研究，证明 MNIR 的有效性。
• 与 LDA、套索、PLS 和 SVM 等成熟方法进行比较，展示在情感建模中更高的预测准确性和更强的鲁棒性。

提出的方法

• MNIR 将按情感等级分组的文档中短语计数的多项式分布进行建模，其概率通过情感变量的逻辑链接函数参数化。
• 该方法推导出一个充分降维得分 $ z_i = \boldsymbol{\varphi}' \mathbf{f}_i $，其中 $ \mathbf{f}_i $ 为短语计数的频率向量，使得 $ y_i \perp\!\!\perp \mathbf{x}_i, m_i \mid z_i $，从而实现对 $ z_i $ 的单变量回归。
• 对回归系数施加伽马-套索先验：独立的拉普拉斯先验，其方差未知，通过具有伽马超先验的层次贝叶斯模型进行估计。
• 开发了一种高效的优化算法，通过下界逼近对数似然函数，迭代更新 $ \delta $ 和 $ \varphi $，以最大化系数及其先验尺度的联合后验分布。
• 采用多项式概率逆方差的凸下界以稳定估计，基于系数变化自适应更新 $ \delta_{jk}^\star $。
• 在 R 语言中使用 textir 包实现该框架，通过标准交叉验证和评估指标与 LDA、套索、PLS、SVM 及监督 LDA 进行比较。

实验结果

研究问题

• RQ1 多项式逆回归能否在有效降低高维文本数据维度的同时，保留对下游预测至关重要的情感相关信息？
• RQ2 与现有的惩罚回归和主题建模技术相比，伽马-套索估计方法在预测准确性和计算效率方面表现如何？
• RQ3 在真实世界的文本-情感预测任务中，MNIR 中的随机效应对模型性能和运行时间有何影响？
• RQ4 在国会议演讲、餐厅评论和选票份额数据的样本外预测中，MNIR 相较于 LDA、PLS 和 SVM 表现如何？
• RQ5 伽马-套索先验在高维多项式逻辑回归中，对估计稳定性和变量选择的改善程度如何？

主要发现

• 在选票份额预测任务中，MNIR 使用二次前向模型的 RMSE 为 10.7，比表现最佳的基线方法（LDA）高出 1.5%，且比第二快的方法快 21%。
• 在两党选票份额预测中，MNIR 使用线性前向模型的 RMSE 为 10.7，与表现最佳的模型（使用二次模型的 MNIR）持平，且比含随机效应的模型快 20%。
• 在共和党党派分类任务中，MNIR 使用逻辑前向回归的误分类率为 11%，比次佳方法（SVM）低 35%，比基线方法低 15%。
• 在餐厅评分预测中，MNIR 使用比例优势模型的 RMSE 为 1.08，比最佳基线方法（LDA）高 1%，且比含随机效应的模型快 15%。
• 伽马-套索方法在所有数据集中均表现出稳定的估计，表现最佳的 MNIR 模型（s = 10⁻²）在三项任务中均达到最低的 RMSE 和误分类率。
• MNIR 框架对模型设定具有鲁棒性，即使在不包含随机效应的情况下，性能下降极小，同时将运行时间减少了 15%–40%。