[论文解读] Towards Mixture Proportion Estimation without Irreducibility.

Yu Yao, Tongliang Liu+5 more|arXiv (Cornell University)|Feb 10, 2020

Machine Learning and Algorithms参考文献 30被引用 5

一句话总结

本文提出了一种名为 Regrouping-MPE 的新型混合比例估计方法，该方法消除了对不可约性假设的依赖——即未观测到的成分并非观测成分的混合。通过将原始问题转化为一个新的、不可约的 MPE 问题，该方法在不可约性假设不成立时可降低估计偏差，在真实世界数据集上的表现优于所有最先进的方法。

ABSTRACT

extit{Mixture proportion estimation} (MPE) is a fundamental problem of practical significance, where we are given data from only a extit{mixture} and one of its two extit{components} to identify the proportion of each component. All existing MPE methods that are distribution-independent explicitly or implicitly rely on the extit{irreducible} assumption---the unobserved component is not a mixture containing the observable component. If this is not satisfied, those methods will lead to a critical estimation bias. In this paper, we propose extit{Regrouping-MPE} that works without irreducible assumption: it builds a new irreducible MPE problem and solves the new problem. It is worthwhile to change the problem: we prove that if the assumption holds, our method will not affect anything; if the assumption does not hold, the bias from problem changing is less than the bias from violation of the irreducible assumption in the original problem. Experiments show that our method outperforms all state-of-the-art MPE methods on various real-world datasets.

研究动机与目标

• 解决现有分布无关 MPE 方法依赖不可约性假设所带来的关键局限，该假设在被违反时可能引入严重估计偏差。
• 开发一种即使未观测成分是包含观测成分的混合时仍有效的算法。
• 将原始 MPE 问题重新表述为一个新的、不可约的 MPE 问题，以在不可约性假设成立时保持估计精度，不成立时减少偏差。
• 通过实证验证，所提方法在多种真实世界数据集上均优于所有最先进的 MPE 技术。

提出的方法

• Regrouping-MPE 通过重新组织数据构建一个新的 MPE 问题，以确保新未观测成分本质上是不可约的。
• 该方法将原始数据混合与成分转换为一种新配置，通过设计保证不可约性条件。
• 它利用数据的结构特性，构建一对满足不可约假设的新混合与成分。
• 然后将新问题的解用于推断原始混合比例，并提供偏差降低的理论保证。
• 该方法确保：若原始假设成立，则结果与现有方法相同；若假设不成立，则引入的偏差小于原始方法的偏差。
• 该方法为分布无关方法，无需显式建模底层成分分布。

实验结果

研究问题

• RQ1 当不可约性假设被违反时，是否可以可靠地执行混合比例估计而不引入显著偏差？
• RQ2 是否可能将一个非不可约的 MPE 问题转化为等价的不可约问题，且不损失估计精度？
• RQ3 通过问题转换引入的偏差与标准 MPE 方法在违反不可约性假设时产生的偏差相比如何？
• RQ4 所提方法是否在多种真实世界数据集上始终优于现有的最先进 MPE 技术？

主要发现

• Regrouping-MPE 有效消除了对不可约性假设的依赖，使在先前方法失效的场景中仍能实现准确的混合比例估计。
• 当不可约性假设成立时，该方法与现有方法产生完全相同的结果，确保无性能损失。
• 当假设被违反时，Regrouping-MPE 引入的偏差严格小于标准 MPE 方法的偏差。
• 在多种真实世界数据集上的实证评估表明，Regrouping-MPE 在估计精度方面优于所有最先进的 MPE 方法。
• 该方法在不同数据分布和成分重叠模式下均表现出鲁棒性。
• 转换过程确保新 MPE 问题始终不可约，从而提供稳定可靠的估计框架。