[论文解读] Relative Density-Ratio Estimation for Robust Distribution Comparison

Makoto Yamada, Taiji Suzuki+3 more|arXiv (Cornell University)|Jun 23, 2011

Machine Learning and Algorithms被引用 28

一句话总结

本文提出相对密度比估计以通过使用 α-相对散度来提高分布比较的鲁棒性，该方法通过源分布与目标分布的凸组合平滑密度比。该方法实现了更快的非参数收敛速度，并且渐近方差与模型复杂度无关，从而减少了过拟合现象，提升了异常值检测和两样本检验中的稳定性。

ABSTRACT

Divergence estimators based on direct approximation of density-ratios without going through separate approximation of numerator and denominator densities have been successfully applied to machine learning tasks that involve distribution comparison such as outlier detection, transfer learning, and two-sample homogeneity test. However, since density-ratio functions often possess high fluctuation, divergence estimation is still a challenging task in practice. In this paper, we propose to use relative divergences for distribution comparison, which involves approximation of relative density-ratios. Since relative density-ratios are always smoother than corresponding ordinary density-ratios, our proposed method is favorable in terms of the non-parametric convergence speed. Furthermore, we show that the proposed divergence estimator has asymptotic variance independent of the model complexity under a parametric setup, implying that the proposed estimator hardly overfits even with complex models. Through experiments, we demonstrate the usefulness of the proposed approach.

研究动机与目标

• 解决基于散度的分布比较中密度比估计的不稳定性问题，该问题源于分母密度较小时的高波动性和潜在发散。
• 克服标准密度比估计器在非参数设置下收敛速度较差的问题，其收敛速度受真实比值的上确界范数制约。
• 构建一个鲁棒的分布比较框架，即使在复杂模型或非理想数据条件下也能保持准确性和稳定性。
• 证明所提出的 α-相对散度估计器的渐近方差与模型复杂度无关，从而降低过拟合风险。

提出的方法

• 引入 α-相对散度作为从 $ p(\boldsymbol{x}) $ 到 $ \tilde{p}(\boldsymbol{x}) = \bar{\alpha} p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x}) $ 的新散度度量，其中 $ 0 \leq \alpha < 1 $，以稳定密度比。
• 将 α-相对皮尔逊（PE）散度定义为 $ \mathrm{PE}_\alpha[p, p'] = \frac{1}{2} \int \left( \frac{p(\boldsymbol{x})}{\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})} - 1 \right)^2 (\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})) \, d\boldsymbol{x} $，以避免比值中的极端值。
• 使用无约束最小二乘重要性拟合（uLSIF）估计相对密度比 $ r_\alpha(\boldsymbol{x}) = \frac{p(\boldsymbol{x})}{\alpha p(\boldsymbol{x}) + (1 - \alpha) p'(\boldsymbol{x})} $，通过线性系统实现解析计算。
• 推导估计器的渐近方差，并在参数假设下证明其与模型复杂度无关，表明对过拟合具有强鲁棒性。
• 利用渐近展开和影响函数分析推导估计器的极限分布，确认其一致性和收敛性质。
• 将估计器应用于实际任务，如异常值检测和两样本齐性检验，证明其性能优于标准密度比方法。

实验结果

研究问题

• RQ1 相对密度比估计能否提升分布比较任务中散度估计器的非参数收敛速度？
• RQ2 所提出的 α-相对散度估计器是否表现出与模型复杂度无关的渐近方差，从而降低过拟合风险？
• RQ3 相对密度比公式如何缓解标准密度比估计中因高波动性导致的不稳定性？
• RQ4 在一般条件下，基于 uLSIF 的 α-相对 PE 散度估计器的理论收敛行为如何？
• RQ5 所提出的方法在真实世界应用（如异常值检测和两样本检验）中是否优于标准密度比方法？

主要发现

• 所提出的 α-相对散度估计器的非参数收敛速度由相对密度比 $ r_\alpha(\boldsymbol{x}) $ 的上确界范数决定，该范数本身比标准密度比更平滑。
• 在参数设定下，估计器的渐近方差与模型复杂度无关，表明即使在复杂模型下也具有很强的抗过拟合能力。
• 方差界被推导为 $ \mathbb{V}[\widehat{\mathrm{PE}}_\alpha] \leq \frac{\|r_\alpha\|_\infty^2}{n} + \frac{\alpha^2 \|r_\alpha\|_\infty^4}{4n} + \frac{(1 - \alpha)^2 \|r_\alpha\|_\infty^4}{4n'} + o(1/n, 1/n') $，表明其变异性有界。
• 通过影响函数分析推导出估计器的渐近分布，证实其在正则条件下的一致性和稳定性。
• 实验结果表明，在异常值检测和两样本齐性检验中，性能显著优于基于标准密度比的方法。
• 由于分母中 α 混合的平滑效应，该方法在 $ p'(\boldsymbol{x}) $ 较小时能有效避免发散问题。