[论文解读] On Learning from Label Proportions

Felix X. Yu, Krzysztof Choromański+3 more|arXiv (Cornell University)|Feb 24, 2014

Machine Learning and Data Classification参考文献 18被引用 41

一句话总结

本文提出了一种理论框架——经验比例风险最小化（EPRM），用于从标签比例学习（LLP），证明了当已知袋级别标签比例时，可以可靠地学习个体实例的标签。在温和假设下，该研究表明：预测袋级别比例的良好泛化能力意味着预测个体标签的良好泛化能力，且样本复杂度仅对袋大小有轻微敏感性。

ABSTRACT

Learning from Label Proportions (LLP) is a learning setting, where the training data is provided in groups, or "bags", and only the proportion of each class in each bag is known. The task is to learn a model to predict the class labels of the individual instances. LLP has broad applications in political science, marketing, healthcare, and computer vision. This work answers the fundamental question, when and why LLP is possible, by introducing a general framework, Empirical Proportion Risk Minimization (EPRM). EPRM learns an instance label classifier to match the given label proportions on the training data. Our result is based on a two-step analysis. First, we provide a VC bound on the generalization error of the bag proportions. We show that the bag sample complexity is only mildly sensitive to the bag size. Second, we show that under some mild assumptions, good bag proportion prediction guarantees good instance label prediction. The results together provide a formal guarantee that the individual labels can indeed be learned in the LLP setting. We discuss applications of the analysis, including justification of LLP algorithms, learning with population proportions, and a paradigm for learning algorithms with privacy guarantees. We also demonstrate the feasibility of LLP based on a case study in real-world setting: predicting income based on census data.

研究动机与目标

• 正式回答从标签比例（LLP）学习何时且为何可行。
• 通过分析袋比例预测的泛化性，为LLP建立理论基础。
• 证明在温和假设下，良好的袋比例预测可导致良好的实例标签预测。
• 为现有LLP算法提供理论依据，并支持使用标签比例实现隐私保护的机器学习。
• 展示LLP在现实世界应用中的可行性，例如从人口普查数据中预测收入。

提出的方法

• 提出经验比例风险最小化（EPRM）框架，通过训练实例级别分类器来匹配训练袋中的给定标签比例。
• 使用VC风格界分析袋比例预测的泛化误差，表明样本复杂度仅对袋大小有轻微依赖。
• 在温和条件下，建立袋比例误差与实例标签误差之间的理论联系，证明控制前者可控制后者。
• 应用多实例学习（MIL）理论中的工具，对比例预测的泛化误差进行界约束。
• 提出一种隐私保护范式：模型从无标签袋中学习比例，并输出经过扰动的比例，以实现差分隐私学习。
• 使用敏感度为1的拉普拉斯噪声对计数进行扰动，以实现差分隐私，确保最终比例以高概率接近原始值。

实验结果

研究问题

• RQ1 在何种条件下，仅从袋级别标签比例可准确预测个体实例标签？
• RQ2 学习袋比例的样本复杂度如何随袋大小变化？
• RQ3 基于比例学习，可为实例标签预测的泛化性提供哪些理论保证？
• RQ4 LLP能否用于增强机器学习算法的隐私性？
• RQ5 LLP如何应用于现实世界数据，例如从人口普查数据中预测收入？

主要发现

• 袋比例预测的泛化误差由经验比例误差所界定，样本复杂度仅对袋大小有轻微敏感性。
• 在温和假设下，袋比例误差较小意味着实例标签预测误差也较小，从而证明了LLP的可行性。
• 该框架为现有LLP算法提供了正式的理论依据，且独立于其具体优化方法。
• 所提出的方法通过在不暴露个体标签的情况下基于比例进行训练，开启了一种新的差分隐私机器学习范式。
• 在一项真实世界案例研究中，LLP成功仅使用群体级别比例从人口普查数据中预测了个人收入。
• 通过使用拉普拉斯噪声对计数进行扰动，可有效将差分隐私应用于LLP，确保输出比例以高概率接近真实值。