[论文解读] Scalable Multilabel Prediction via Randomized Methods
该论文提出了一种可扩展的多标签分类方法，通过使用随机化矩阵分解和核近似技术的灵活、正则化的链接函数来建模标签依赖关系。通过将输入嵌入低秩子空间并施加平滑性和低秩正则化，该方法在大规模多标签和多分类数据集上实现了最先进性能，无需显式计算独立预测，显著降低了计算成本，同时提升了泛化能力。
Modeling the dependence between outputs is a fundamental challenge in multilabel classification. In this work we show that a generic regularized nonlinearity mapping independent predictions to joint predictions is sufficient to achieve state-of-the-art performance on a variety of benchmark problems. Crucially, we compute the joint predictions without ever obtaining any independent predictions, while incorporating low-rank and smoothness regularization. We achieve this by leveraging randomized algorithms for matrix decomposition and kernel approximation. Furthermore, our techniques are applicable to the multiclass setting. We apply our method to a variety of multiclass and multilabel data sets, obtaining state-of-the-art results.
研究动机与目标
- 解决在大规模输出空间中建模多标签分类标签依赖关系的挑战。
- 降低由于高维标签空间带来的计算和统计负担。
- 通过在联合预测上施加低秩和平滑性正则化来提升泛化能力。
- 通过随机算法实现矩阵分解和核近似，实现高效推理和训练。
- 通过统一框架在基准多标签和多分类数据集上实现最先进性能。
提出的方法
- 该方法使用随机嵌入，通过随机探测的子空间迭代近似标签投影矩阵，降低维度的同时保留结构。
- 它应用一种灵活的链接函数，通过正则化、低秩变换将独立预测映射为联合预测。
- 通过随机核近似和嵌入技术施加低秩和平滑性正则化，避免在完整标签空间上进行显式计算。
- 该方法利用随机线性代数计算标签矩阵的低维嵌入，实现在缩减子空间上的高效优化。
- 在嵌入空间上通过带动量的预处理随机梯度下降进行优化，超参数在验证集上进行调优。
- 该方法适用于多标签和多分类设置，后者被视为多标签的特例。
实验结果
研究问题
- RQ1是否可以通过正则化、灵活的链接函数在不显式建模所有标签组合的情况下提升多标签预测性能？
- RQ2如何高效地将低秩和平滑性正则化应用于大规模多标签问题？
- RQ3随机化矩阵分解和核近似是否能够实现在高维标签空间中的可扩展训练和推理？
- RQ4与随机投影相比，学习得到的嵌入在预测准确性和泛化能力方面是否表现更优？
- RQ5该框架在标准多标签和多分类基准上能在多大程度上实现最先进结果？
主要发现
- 在 ODP 数据集上，所提方法测试误差为 [83.21, 83.39]%，优于 Lomtree (93.46%) 和压缩感知基线 [85.39, 85.56]%。
- 在 LSHTC 数据集上，该方法在 precision-at-1 上达到 53.39%，超过 FastXML (49.78%) 和 LPSR-NB (27.91%) 的相同划分结果。
- 经过调优的嵌入显著提升了性能，优于随机高斯矩阵，证明了学习到的低秩结构的价值。
- 该方法可高效扩展至包含最多 350,000 个标签的数据集，训练和推理可在标准台式机硬件上完成。
- 该方法在多标签和多分类基准上均实现了最先进结果，验证了其有效性和可扩展性。
- 计算成本主要集中在嵌入步骤（约 3000 秒），但方法仍具可行性，并优于 Lomtree 等对数复杂度的替代方案。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。