[论文解读] Stochastic Multiple Choice Learning for Training Diverse Deep Ensembles

Stefan Lee, Senthil Purushwalkam+4 more|arXiv (Cornell University)|Jun 24, 2016

Domain Adaptation and Few-Shot Learning参考文献 19被引用 30

一句话总结

本文提出随机多选学习（sMCL），一种基于随机梯度下降（SGD）的无超参数方法，用于训练多样化的深度神经网络集成模型，通过鼓励集成中每个模型专注于不同的假设来最小化真实标签损失。sMCL在图像分类、分割和图像字幕生成任务中，显著降低了真实标签误差，同时生成可解释且多样化的预测结果，准确反映任务中的模糊性。

ABSTRACT

Many practical perception systems exist within larger processes that include interactions with users or additional components capable of evaluating the quality of predicted solutions. In these contexts, it is beneficial to provide these oracle mechanisms with multiple highly likely hypotheses rather than a single prediction. In this work, we pose the task of producing multiple outputs as a learning problem over an ensemble of deep networks -- introducing a novel stochastic gradient descent based approach to minimize the loss with respect to an oracle. Our method is simple to implement, agnostic to both architecture and loss function, and parameter-free. Our approach achieves lower oracle error compared to existing methods on a wide range of tasks and deep architectures. We also show qualitatively that the diverse solutions produced often provide interpretable representations of task ambiguity.

研究动机与目标

• 解决单输出模型在模糊感知任务中产生模式聚焦、通用输出的局限性。
• 使感知系统能够生成多个合理的假设，而非单一预测，从而提升在人类审核或验证等下游任务中的实用性。
• 训练深度神经网络集成模型，使其共同覆盖高概率预测的空间，特别是在多模态或模糊场景中。
• 开发一种简单、与模型架构无关且无超参数的训练方法，直接在集成设置中优化真实标签损失。
• 证明多样化的多假设输出能更好地反映现实世界中的模糊性，并提升实际系统性能。

提出的方法

• 提出一种新颖的基于SGD的优化策略——随机多选学习（sMCL），以最小化集成输出的真实标签损失。
• 采用“胜者全得梯度”机制，即每轮训练中仅由集成中表现最佳的模型更新其权重，依据是真实标签的选择。
• 应用随机块梯度下降，高效优化集成模型，无需重新训练或复杂超参数调优。
• 将新的sMCL层集成到现有深度学习架构中，使其与模型架构无关，且兼容任务特定的损失函数。
• 使每个集成成员能够专注于解空间的不同区域，通过隐式竞争促进多样性。
• 通过仅添加sMCL层而无需修改损失函数或网络架构，保持与标准训练流程的兼容性。

实验结果

研究问题

• RQ1 一种简单、无超参数的训练方法能否提升深度神经网络集成模型的多样性与真实标签性能？
• RQ2 直接优化真实标签损失是否能相比标准单输出训练，更好地覆盖多模态预测？
• RQ3 sMCL能否在无需显式正则化或架构修改的情况下，自动诱导集成成员之间的专业化？
• RQ4 sMCL在准确率、训练效率和预测多样性方面与现有MCL方法相比表现如何？
• RQ5 sMCL生成的集成模型在多大程度上能产生可解释、人类可理解的假设，从而反映感知任务中的真实模糊性？

主要发现

• sMCL在图像分类、语义分割和图像字幕生成任务中，显著低于经典集成模型及其他强基线方法的真实标签误差，包括比5倍慢的MCL过程。
• 该方法生成的预测具有多样性，能反映多模态信念，例如同一图像可生成不同结构的字幕，即使标准模型收敛到相同且通用的输出。
• 在图像字幕生成任务中，sMCL集成模型生成多样且内容丰富的描述，能捕捉场景模糊性，例如在标准模型失败时仍能正确识别出猫。
• 独立训练的sMCL集成成员在输出空间的不同维度上自动实现专业化，如物体身份、场景结构和动作描述，且无需显式监督。
• sMCL在捕捉解空间中模糊或低密度区域方面优于标准集成模型，例如细粒度物体类别或罕见场景配置。
• 该方法实现简单，无需任何超参数，可应用于任何使用SGD训练的深度学习架构，仅需添加sMCL层。