[论文解读] Robust Bayesian Classification Using an Optimistic Score Ratio

Viet Anh Nguyen, Nian Si+1 more|arXiv (Cornell University)|Jul 8, 2020

Advanced Statistical Methods and Models被引用 4

一句话总结

本文提出了一种使用乐观似然比的鲁棒贝叶斯二分类器，以处理在仅有有限数据时类别条件分布中的不确定性。通过在均值和协方差约束下定义的模糊集进行优化，该方法在确保统计鲁棒性和计算可处理性的同时，在合成数据和真实世界数据上均表现出色。

ABSTRACT

We build a Bayesian contextual classification model using an optimistic score ratio for robust binary classification when there is limited information on the class-conditional, or contextual, distribution. The optimistic score searches for the distribution that is most plausible to explain the observed outcomes in the testing sample among all distributions belonging to the contextual ambiguity set which is prescribed using a limited structural constraint on the mean vector and the covariance matrix of the underlying contextual distribution. We show that the Bayesian classifier using the optimistic score ratio is conceptually attractive, delivers solid statistical guarantees and is computationally tractable. We showcase the power of the proposed optimistic score ratio classifier on both synthetic and empirical data.

研究动机与目标

• 解决在训练数据有限或异质时类别条件分布中的模型不确定性问题。
• 开发一种贝叶斯分类框架，即使在似然函数存在误设的情况下仍保持统计可靠性。
• 将均值和协方差的结构约束纳入模糊集，以实现鲁棒推断。
• 在保持强理论保证的同时确保计算可处理性，适用于分布鲁棒优化。
• 提供一种决策理论方法，以在模糊性下最小化误分类风险。

提出的方法

• 采用贝叶斯决策框架，在模型不确定性下最小化后验概率。
• 通过均值向量和协方差矩阵的约束，定义类别条件分布的模糊集。
• 通过在模糊集上最大化最坏情况下的似然比，应用分布鲁棒优化。
• 采用乐观似然比方法，从模糊集中选择最可能的分布以指导分类。
• 通过对偶优化推导出闭式解，将问题简化为对单个参数 γ 的一维凸最小化问题。
• 利用拉格朗日对偶性和矩阵求逆恒等式，推导出最优分类器参数，包括均值和协方差的调整。

实验结果

研究问题

• RQ1 当类别条件分布不确定且仅能获得部分信息（如均值和协方差）时，如何使贝叶斯分类更具鲁棒性？
• RQ2 如何最优地定义类别条件分布的模糊集，以在灵活性与统计可靠性之间取得平衡？
• RQ3 能否推导出一种计算可处理的分类器，使其在分布不确定性下仍保持强理论保证？
• RQ4 与标准贝叶斯方法相比，乐观似然比在模型误设下如何提升分类性能？
• RQ5 当模糊性通过特征分布的矩约束定义时，最优分类器的结构是什么？

主要发现

• 所提出的乐观似然比分类器计算上是可处理的，且简化为对单个参数 γ 的一维凸优化问题。
• 对偶问题中的目标函数是严格凸的，且当 γ 趋近于无穷大时趋于无穷大，从而保证存在唯一最小值点。
• 通过名义协方差与测试点马氏距离的加权组合，以闭式形式推导出最优协方差矩阵解。
• 该方法通过考虑模糊集内最有利的分布实现鲁棒性，从而在协变量偏移下提升泛化性能。
• 在合成数据和真实数据上的实证结果表明，该分类器在模型不确定性下表现出色且稳定。
• 理论分析证实，该方法提供了坚实的统计保证，包括一致性和对分布偏移的鲁棒性。