[论文解读] Robust Covariate Shift Prediction with General Losses and Feature Views

Anqi Liu, Brian D. Ziebart|arXiv (Cornell University)|Dec 28, 2017

Neural Networks and Applications参考文献 15被引用 7

一句话总结

本文提出了一种通用的鲁棒协变量偏移分类框架，该框架超越了对数损失最小化的限制，可处理各种损失函数（包括非凸损失），并通过基于特征视图的泛化假设，在分布偏移下提升预测性能。通过多视图特征建模平衡不确定性与信息量，该方法在高维或偏斜数据设置下表现出更优的鲁棒性与准确性。

ABSTRACT

Covariate shift relaxes the widely-employed independent and identically distributed (IID) assumption by allowing different training and testing input distributions. Unfortunately, common methods for addressing covariate shift by trying to remove the bias between training and testing distributions using importance weighting often provide poor performance guarantees in theory and unreliable predictions with high variance in practice. Recently developed methods that construct a predictor that is inherently robust to the difficulties of learning under covariate shift are restricted to minimizing logloss and can be too conservative when faced with high-dimensional learning tasks. We address these limitations in two ways: by robustly minimizing various loss functions, including non-convex ones, under the testing distribution; and by separately shaping the influence of covariate shift according to different feature-based views of the relationship between input variables and example labels. These generalizations make robust covariate shift prediction applicable to more task scenarios. We demonstrate the benefits on classification under covariate shift tasks.

研究动机与目标

• 解决现有鲁棒协变量偏移方法仅限于对数损失最小化，以及在高维设置下过度保守预测的局限性。
• 克服在显著协变量偏移和训练数据有限时，重要性加权方法泛化能力差且方差高的问题。
• 开发一个统一框架，支持在测试分布下对一般损失函数（包括0-1损失和非凸损失）的鲁棒最小化。
• 引入基于特征视图的泛化假设，通过利用输入特征之间的结构关系，更好地平衡鲁棒性与预测信息量。
• 在合成数据、UCI基准数据集以及具有跨语言分布偏移的真实多视图语言数据集上，验证该框架的有效性。

提出的方法

• 构建一个鲁棒优化问题，最小化测试分布下的最坏情况期望损失，将方法从对数损失推广至任意损失函数。
• 引入多视图特征表示，其中不同特征子集（视图）被独立用于建模协变量偏移，实现各视图的针对性泛化。
• 通过对偶优化方法推导出预测标签分布的参数形式，确保最坏情况下的鲁棒性，同时保持计算可行性。
• 在多视图设置中，使用主成分分析（PCA）降低特征维度，以在高维输入空间中提升密度比估计的稳定性。
• 使用基于估计密度比的重要性加权来校准训练数据，同时结合最坏情况损失最小化以增强鲁棒性。
• 实现一个灵活的优化框架，支持插件式使用各种损失函数（如对数损失、0-1损失），并兼容单视图与多视图配置。

实验结果

研究问题

• RQ1 鲁棒协变量偏移分类能否超越对数损失最小化，扩展至包含非凸损失及其他实际应用损失函数？
• RQ2 当训练与测试分布不一致时，如何通过特征级泛化假设提升鲁棒性与预测性能？
• RQ3 引入多个特征视图是否能相比统一处理所有特征，实现更好的鲁棒性与信息量之间的权衡？
• RQ4 在协变量偏移下的泛化性能方面，所提出的多视图鲁棒框架相较于逻辑回归、重要性加权和单视图鲁棒分类器等标准方法表现如何？
• RQ5 在高维或偏斜数据设置下，多视图方法是否相比基线鲁棒方法能减少过度保守性并提升预测准确性？

主要发现

• 多视图鲁棒协变量偏移分类器（Robust-View）在所有UCI数据集上均实现了最低的对数损失，在6次实验中的5次中优于Robust、LR和IW方法。
• 在具有显著跨语言分布偏移的语言数据集上，Robust-View相比LR将对数损失降低最多达8.5倍，相比IW降低最多达8.1倍，展现出强大的鲁棒性。
• 当标准Robust方法产生近乎均匀的预测（对数损失接近随机）时，Robust-View通过利用信息丰富的特征视图，仍能维持有意义的预测性能。
• Robust-View在高维设置下持续优于单视图Robust基线，尤其通过利用不同特征视图之间的结构差异。
• 该方法在鲁棒性与信息量之间实现了更优平衡，避免了标准鲁棒方法在训练数据稀疏或输入空间高维时出现的过度保守问题。
• 理论分析证实，该框架为最坏情况测试损失提供了合理的上界，确保在协变量偏移下的泛化保证。