[论文解读] Unsupervised Pool-Based Active Learning for Linear Regression

Ziang Liu, Dongrui Wu|arXiv (Cornell University)|Jan 14, 2020

Machine Learning and Algorithms参考文献 27被引用 6

一句话总结

该论文提出了一种用于线性回归的无监督池采样主动学习方法，通过同时优化信息性、代表性与多样性，从无任何标注数据中选择最具信息量的初始样本。该方法在使用岭回归、LASSO 和线性SVM回归的14个真实世界数据集上均优于当前最先进方法，展现出在极少标注数据下的优越模型性能。

ABSTRACT

In many real-world machine learning applications, unlabeled data can be easily obtained, but it is very time-consuming and/or expensive to label them. So, it is desirable to be able to select the optimal samples to label, so that a good machine learning model can be trained from a minimum amount of labeled data. Active learning (AL) has been widely used for this purpose. However, most existing AL approaches are supervised: they train an initial model from a small amount of labeled samples, query new samples based on the model, and then update the model iteratively. Few of them have considered the completely unsupervised AL problem, i.e., starting from zero, how to optimally select the very first few samples to label, without knowing any label information at all. This problem is very challenging, as no label information can be utilized. This paper studies unsupervised pool-based AL for linear regression problems. We propose a novel AL approach that considers simultaneously the informativeness, representativeness, and diversity, three essential criteria in AL. Extensive experiments on 14 datasets from various application domains, using three different linear regression models (ridge regression, LASSO, and linear support vector regression), demonstrated the effectiveness of our proposed approach.

研究动机与目标

• 为解决在初始化时无任何标注数据的情况下，选择前几个标注样本的挑战，该问题被称为无监督池采样线性回归主动学习。
• 开发一种同时考虑三个核心标准——信息性、代表性与多样性样本——的方法，以实现最优初始样本选择。
• 在多种真实世界数据集和多个线性回归模型上，证明所提方法的有效性。

提出的方法

• 该方法提出一种信息性-代表性-多样性（IRD）准则，在初始样本选择过程中联合优化所有三项选择标准。
• 对于前 $ M \leq d+1 $ 个样本（其中 $ d $ 为特征维度），IRD 使用信息性（通过预测方差衡量）、代表性（通过最近邻密度）和多样性（通过行列式采样）的加权组合。
• 当 $ M > d+1 $ 时，采用迭代优化过程，通过在多样性与代表性之间权衡，保持全局覆盖并避免冗余。
• 该方法采用贪心选择策略，在每一步最大化IRD得分，确保对输入空间的平衡探索。
• 该方法设计为与模型无关，兼容标准线性回归模型，包括岭回归、LASSO 和线性支持向量回归。
• 参数 $ c_{\text{max}} $ 控制迭代优化步骤的数量，实验表明在 $ c_{\text{max}} = 5 $ 时性能最优。

实验结果

研究问题

• RQ1 在初始化时完全无标注数据的情况下，是否可以设计一种无监督主动学习方法，使其在性能上优于现有方法？
• RQ2 在缺乏标签信息的情况下，信息性、代表性与多样性三者联合影响对模型性能有何作用？
• RQ3 迭代优化过程是否能有效提升初始 $ d+1 $ 个样本之后的样本选择质量？
• RQ4 所提方法对超参数（如正则化系数和 $ c_{\text{max}} $）的敏感性如何？
• RQ5 是否同时考虑所有三项标准，相比仅考虑其中部分标准的方法，能带来更鲁棒且泛化能力更强的模型性能？

主要发现

• 所提出的IRD方法在全部14个数据集上均显著优于所有基线方法，包括RD（代表性与多样性）、ID（信息性与多样性）以及其他最先进无监督主动学习方法。
• IRD在均方根误差（RMSE）和皮尔逊相关系数（CC）方面均优于随机采样（RS），且在所有回归模型中，归一化AUC提升均稳定超过90%。
• 迭代优化步骤（$ c_{\text{max}} > 0 $）显著提升了性能，最优结果在 $ c_{\text{max}} = 5 $ 时达到，表明该方法能有效利用额外迭代。
• IRD对正则化系数具有鲁棒性：在岭回归和LASSO中不同 $ \lambda $ 值下性能始终更优，在线性SVR中不同 $ C $ 值下亦表现一致。
• 消融研究证实，同时考虑信息性、代表性和多样性三项标准至关重要，因为IRD在剔除任一标准的变体方法中均表现更优。
• 该方法展现出强大的泛化能力，在包括语音情感估计和石油产量预测在内的多样化应用领域中，均保持一致的性能提升。