[论文解读] Regularized Ordinal Regression and the ordinalNet R Package

Michael Wurm, Paul J. Rathouz+1 more|PubMed|Jun 15, 2017

Neural Networks and Applications参考文献 1被引用 29

一句话总结

本文提出了ELMO类多项式回归模型，包括有序和非有序形式，并提出了一种带有弹性网络正则化的坐标下降算法，用于变量选择和预测性能提升。主要贡献是推出了R包ordinalNet，可高效实现对并行（比例优势）和非并行模型的惩罚估计，包括一种半并行形式，通过将非并行系数收缩至并行结构，提升模型可解释性和性能。

ABSTRACT

Regularization techniques such as the lasso (Tibshirani 1996) and elastic net (Zou and Hastie 2005) can be used to improve regression model coefficient estimation and prediction accuracy, as well as to perform variable selection. Ordinal regression models are widely used in applications where the use of regularization could be beneficial; however, these models are not included in many popular software packages for regularized regression. We propose a coordinate descent algorithm to fit a broad class of ordinal regression models with an elastic net penalty. Furthermore, we demonstrate that each model in this class generalizes to a more flexible form, that can be used to model either ordered or unordered categorical response data. We call this the <i>elementwise link multinomial-ordinal</i> (ELMO) class, and it includes widely used models such as multinomial logistic regression (which also has an ordinal form) and ordinal logistic regression (which also has an unordered multinomial form). We introduce an elastic net penalty class that applies to either model form, and additionally, this penalty can be used to shrink a non-ordinal model toward its ordinal counterpart. Finally, we introduce the R package <b>ordinalNet</b>, which implements the algorithm for this model class.

研究动机与目标

• 为流行统计软件中有序回归模型缺乏正则化工具提供解决方案。
• 开发一个统一框架，用于拟合带有弹性网络惩罚项的有序和非有序多项式回归模型。
• 提出一种半并行参数化形式，使非并行模型的系数可向并行结构收缩，从而提升模型稳定性和可解释性。
• 在R包ordinalNet中实现该方法，以确保广泛可用性和可复现性。
• 通过模拟和真实基因表达数据集分析，展示该方法的性能。

提出的方法

• 提出逐元素链接的多项式-有序（ELMO）模型类，该类模型推广了常见的有序回归模型，如累积比数logit、停止比值和连续比值模型。
• 定义两种参数化形式：并行形式（在各阈值间共享系数）和非并行形式（系数随阈值变化），二者均适用于有序和无序分类响应变量。
• 提出一种半并行模型，通过过度参数化非并行形式，使弹性网络惩罚项能够将非并行系数向并行结构收缩。
• 开发一种坐标下降算法，高效拟合带有弹性网络惩罚项的ELMO模型，实现变量选择和系数收缩。
• 在R包ordinalNet中实现该算法，支持通过lambda和alpha参数进行交叉验证和模型调优。
• 利用弹性网络惩罚项平衡L1（套索）和L2（岭）正则化，提升预测准确率并处理高维预测变量。

实验结果

研究问题

• RQ1 能否开发一种统一算法，用于拟合并行与非并行多项式回归模型，并施加弹性网络正则化？
• RQ2 通过将非并行系数向并行结构收缩的半并行模型，是否能提升预测准确率和模型可解释性？
• RQ3 在不同数据情景下，惩罚并行、非并行和半并行模型在样本外预测准确率方面的表现如何比较？
• RQ4 所提出的方法能否在高维有序回归场景（如基因表达数据）中有效实现变量选择？
• RQ5 尽管存在过度参数化，半并行模型的惩罚似然是否具有唯一可识别性？

主要发现

• 在真实数据生成过程为非并行的模拟情景中，半并行模型在预测准确率上优于并行和非并行模型。
• 在非比例优势较强的情景中，非并行模型实现了最佳预测性能；而在比例优势条件下，并行模型表现最佳。
• 模拟研究显示，半并行模型提供了稳健的折中方案，在多种数据结构下均表现出色。
• 在GSE18081基因表达数据集中，ordinalNet成功识别出具有高预测准确率和有意义变量选择的基因特征。
• 交叉验证对数似然最高的模型是半并行模型（平均对数似然 = -2.411），优于并行模型（平均 = -1.971）和非并行模型（平均 = -2.217）。
• ordinalNet中的坐标下降算法能高效计算多个lambda和alpha值下的解路径，实现计算开销极小的有效模型调优。