[论文解读] Ordinal Neural Network Transformation Models: Deep and interpretable regression models for ordinal outcomes.

Lucas Kook, Lisa Herzog+3 more|arXiv (Cornell University)|Oct 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 44被引用 3

一句话总结

ONTRAMs 是一种深度学习模型，通过将图像和表格数据的神经网络与经典序回归相结合，实现对有序结果的可解释性高精度回归。通过将变换函数分解为图像和表格输入的独立神经网络组件，ONTRAMs 在保持可解释性和训练效率的同时，实现了最先进性能。

ABSTRACT

Outcomes with a natural order commonly occur in prediction tasks and oftentimes the available input data are a mixture of complex data, like images, and tabular predictors. Deep Learning (DL) methods are state-of-the-art for image classification tasks but frequently treat ordinal outcomes as unordered and lack interpretability. In contrast, classical ordinal regression models consider the outcome's order and yield interpretable predictor effects but are limited to tabular data. We present ordinal neural network transformation models (ONTRAMs), which unite DL with classical ordinal regression methods. ONTRAMs are a special case of transformation models and trade off flexibility and interpretability by additively decomposing the transformation function into terms for image and tabular data using jointly trained neural networks. We discuss how to interpret model components for both tabular and image data. The proposed ONTRAMs achieve on-par performance with common DL models while being directly interpretable and more efficient in training.

研究动机与目标

• 解决混合数据场景下有序结果可解释深度学习模型的缺乏问题。
• 弥合深度学习的灵活性与经典序回归的可解释性之间的差距。
• 在保留有序结果顺序结构的同时，实现图像和表格预测器的联合学习。
• 开发一种在训练效率和性能方面与标准深度学习模型相当的模型。
• 为有序回归中的图像和表格预测器提供可解释的分量效应。

提出的方法

• ONTRAMs 是一种变换模型的特例，其将变换函数分解为图像和表格数据的可加分量。
• 图像和表格数据通过独立但联合训练的神经网络进行处理，以学习数据特定的表示。
• 该模型使用累积链接函数对有序结果进行建模，确保响应类别自然顺序的保留。
• 通过在学习到的变换分量上使用部分依赖或基于梯度的方法分析单个输入特征的贡献，实现可解释性。
• 变换函数通过最大似然估计进行估计，图像和表格分支共享优化过程。
• 该模型允许对预测器效应进行可加分解，从而实现对单个特征对有序结果贡献的解释。

实验结果

研究问题

• RQ1 能否将深度神经网络调整为建模有序结果，同时保持可解释性？
• RQ2 在不牺牲性能或可解释性的情况下，如何在序回归中联合建模图像和表格数据？
• RQ3 ONTRAMs 在有序预测任务上的性能在多大程度上可与标准深度学习模型相媲美？
• RQ4 ONTRAMs 学习到的组件在多大程度上能够实现对图像和表格输入预测器效应的有意义解释？
• RQ5 ONTRAMs 的训练效率是否与标准深度学习架构相当？

主要发现

• ONTRAMs 在涉及混合图像和表格数据的有序预测任务中，性能与标准深度学习模型相当。
• 该模型保持了高效的训练过程，在训练速度上优于许多复杂的深度学习基线模型。
• 通过变换函数的分量分析，保持了可解释性，使图像和表格输入的特征效应能够被清晰解释。
• 变换函数的可加分解使个体预测器对有序结果的贡献能够被有意义地解释。
• ONTRAMs 有效建模了有序结果的自然顺序，同时能够处理图像和表格特征等复杂数据类型。
• 图像和表格神经网络的联合训练实现了共享表示学习，且未损害模型的可解释性。