[论文解读] Trimmed Density Ratio Estimation

Song Liu, Akiko Takeda+2 more|arXiv (Cornell University)|Mar 9, 2017

Target Tracking and Data Fusion in Sensor Networks被引用 8

一句话总结

本文提出了一种鲁棒的截断密度比估计器，通过将问题表述为凸优化问题，采用截断最大似然方法自动识别并排除异常值。该方法利用次梯度下降确保全局收敛，并在高维设置下实现稳定估计，在数据被污染或存在重尾分布的情况下优于标准密度比估计器。

ABSTRACT

Density ratio estimation is a vital tool in both machine learning and statistical community. However, due to the unbounded nature of density ratio, the estimation procedure can be vulnerable to corrupted data points, which often pushes the estimated ratio toward infinity. In this paper, we present a robust estimator which automatically identifies and trims outliers. The proposed estimator has a convex formulation, and the global optimum can be obtained via subgradient descent. We analyze the parameter estimation error of this estimator under high-dimensional settings. Experiments are conducted to verify the effectiveness of the estimator.

研究动机与目标

• 解决标准密度比估计（DRE）在异常数据点导致比值无界时的不稳定性问题。
• 开发一种鲁棒估计器，可自动检测并剔除病态数据点，而无需事先了解污染情况。
• 确保估计过程的凸性与全局最优性，以实现可靠的优化。
• 在稀疏性诱导正则化下，分析高维设置中的参数估计误差。
• 通过实证实验验证该方法在异常值和截断情形下的有效性。

提出的方法

• 提出一种适用于密度比估计的截断最大似然估计器（TMLE）框架，忽略极端似然值。
• 通过对数线性模型和稀疏性诱导正则化，将截断DRE重新表述为凸优化问题。
• 采用次梯度下降高效求解凸优化问题，并保证收敛至全局最优解。
• 利用Fenchel对偶性推导对偶形式，以实现高效计算和理论分析。
• 基于经验似然值设计阈值机制，识别并排除异常值。
• 在高维设置下推导理论误差界，表明估计误差和Lipschitz连续性均具有收敛性。

实验结果

研究问题

• RQ1 如何使密度比估计对导致无界比值的异常值具有鲁棒性？
• RQ2 能否设计一种凸形式，以在数据被污染的情况下确保全局优化和稳定性？
• RQ3 在高维设置下，截断DRE的理论估计误差行为如何？
• RQ4 当真实密度比因数据结构差异而被截断时，该方法表现如何？
• RQ5 该估计器能否在忽略病态或波动样本的同时恢复正确的密度比函数？

主要发现

• 由于其凸形式，所提出的截断DRE估计器通过次梯度下降实现全局收敛，确保了可靠的优化。
• 在异常值设置下，该方法保持稳定，并在异常值分布远离内点区域时收敛至真实密度比，而标准KLIEP方法则出现高估。
• 在截断设置下，估计器成功恢复了真实的截断密度比函数，即使真实比值仅在定义域的子集上定义。
• 理论分析表明，参数估计误差被界于$\mathcal{O}(\|\mathbf{u}\| + \frac{L_1}{\sqrt{n_p}})$之内，显式依赖于模型复杂度和数据规模。
• 实证结果表明，该方法在不同污染水平下均保持鲁棒性，在视觉和定量比较中均优于非鲁棒DRE。
• 该方法通过防止少数极端样本主导重加权过程，有效处理了领域自适应中的重要性加权。