[论文解读] Neighborhood-Based Pooling for Population-Level Label Distribution Learning.

Tharindu Cyril Weerasooriya, Tong Liu+1 more|arXiv (Cornell University)|Mar 1, 2020

Music and Audio Processing被引用 1

一句话总结

本文提出了一种基于邻域的池化方法用于群体层面标签分布学习（PLDL），将标注者分歧视为群体意见的体现而非噪声。通过利用局部数据邻域来聚合标签，并应用对样本量敏感的统计检验，该方法在小样本场景下提升了标签估计的准确性和鲁棒性。

ABSTRACT

Supervised machine learning often requires human-annotated data. While annotator disagreement is typically interpreted as evidence of noise, population-level label distribution learning (PLDL) treats the collection of annotations for each data item as a sample of the opinions of a population of human annotators, among whom disagreement may be proper and expected, even with no noise present. From this perspective, a typical training set may contain a large number of very small-sized samples, one for each data item, none of which, by itself, is large enough to be considered representative of the underlying population's beliefs about that item. We propose an algorithmic framework and new statistical tests for PLDL that account for sampling size. We apply them to previously proposed methods for sharing labels across similar data items. We also propose new approaches for label sharing, which we call neighborhood-based pooling.

研究动机与目标

• 解决监督学习中每个数据样本仅有少量人工标注的挑战，尤其在训练样本量小且非代表性的情况下。
• 重新诠释标注者分歧，不再视为噪声，而是作为潜在群体意见分布的反映。
• 构建一个统计框架，考虑样本量因素，在相似数据项之间估计标签分布时予以考量。
• 通过基于邻域的池化方法聚合语义相似数据项的标签，提升标签估计的准确性。
• 在现有PLDL方法上验证该方法，并提出更有效的标签共享策略。

提出的方法

• 提出一种基于邻域的池化机制，根据特征相似性将相似数据项分组，以聚合其标注结果。
• 应用对样本量敏感的统计检验，评估聚合标签分布的可靠性。
• 将每个数据项的标注建模为来自群体分布的样本，将分歧视为信息性而非噪声性因素。
• 引入一种加权机制，根据邻域大小和聚合估计的置信度，调整每个数据项标注的贡献权重。
• 通过集成邻域池化机制扩展现有PLDL方法，提升泛化能力并降低标签估计的方差。
• 采用基于核函数的相似性度量来定义邻域，实现语义相似实例之间标签信息的有效迁移。

实验结果

研究问题

• RQ1 当每个数据项仅有少量标注时，如何提升标签估计的性能？
• RQ2 将标注者分歧建模为群体层面意见在多大程度上能改善标签分布学习？
• RQ3 与标准PLDL方法相比，基于邻域的池化是否能提升标签估计的准确性？
• RQ4 样本量和邻域结构在多大程度上影响聚合标签分布的可靠性？
• RQ5 在小样本条件下，哪种统计框架最有效地评估聚合标签估计的置信度？

主要发现

• 基于邻域的池化方法通过利用数据项之间的相似性，有效补偿了单个样本量小的问题，显著提升了标签估计的准确性。
• 所提出的统计检验能有效量化聚合标签分布中的不确定性，尤其在样本量较小时表现更优。
• 将分歧视为群体意见的代表，相比假设其为噪声，能产生更稳健、更可靠的标签分布。
• 该方法在基准数据集上优于基线PLDL方法，尤其在低数据量场景下表现更佳。
• 将邻域池化与现有PLDL方法结合，在多个评估指标上均实现了稳定提升。
• 该框架展现出强大的泛化能力，在个体标注稀疏或不一致的情况下仍能保持高性能。