[论文解读] ProtoDiff: Learning to Learn Prototypical Networks by Task-Guided Diffusion

Yingjun Du, Zehao Xiao+2 more|arXiv (Cornell University)|Jun 26, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

ProtoDiff 引入了一种任务引导的扩散模型，以在少样本学习中学习概率性、任务特定的原型，通过在元测试期间从噪声生成优化后的原型，改进了确定性原型网络。它通过元学习一种从原始原型到过拟合原型的扩散过程，在域内、跨域以及少任务少样本基准上实现了最先进性能，同时通过残差原型学习加速训练并提升准确率。

ABSTRACT

Prototype-based meta-learning has emerged as a powerful technique for addressing few-shot learning challenges. However, estimating a deterministic prototype using a simple average function from a limited number of examples remains a fragile process. To overcome this limitation, we introduce ProtoDiff, a novel framework that leverages a task-guided diffusion model during the meta-training phase to gradually generate prototypes, thereby providing efficient class representations. Specifically, a set of prototypes is optimized to achieve per-task prototype overfitting, enabling accurately obtaining the overfitted prototypes for individual tasks. Furthermore, we introduce a task-guided diffusion process within the prototype space, enabling the meta-learning of a generative process that transitions from a vanilla prototype to an overfitted prototype. ProtoDiff gradually generates task-specific prototypes from random noise during the meta-test stage, conditioned on the limited samples available for the new task. Furthermore, to expedite training and enhance ProtoDiff's performance, we propose the utilization of residual prototype learning, which leverages the sparsity of the residual prototype. We conduct thorough ablation studies to demonstrate its ability to accurately capture the underlying prototype distribution and enhance generalization. The new state-of-the-art performance on within-domain, cross-domain, and few-task few-shot classification further substantiates the benefit of ProtoDiff.

研究动机与目标

• 解决由于支持样本有限导致的少样本学习中确定性原型估计的脆弱性。
• 通过学习原型的生成过程而非依赖简单平均，更稳健地建模潜在类别分布。
• 通过学习从随机噪声到任务特定原型的扩散基过渡，提升少样本分类中的泛化能力与适应性。
• 通过残差原型学习加速训练并提升性能，利用原型更新中的稀疏性。
• 在包括跨域和少任务设置在内的多样化基准上，建立少样本学习的新最先进水平。

提出的方法

• 通过微调优化一组原型，以实现每任务的原型过拟合，将准确的任务特定表示作为真实标签。
• 在原型空间内引入任务引导的扩散过程，学习一种从噪声到过拟合原型的去噪过程。
• 在元测试阶段，将扩散采样条件化于有限的支持集样本，从噪声中生成任务特定原型。
• 采用残差原型学习方案，仅建模原始原型与过拟合原型之间的差异，提升训练效率与性能。
• 使用反向过程训练扩散模型，学习去噪原型空间，以过拟合原型作为目标。
• 通过度量学习（例如余弦相似度）将生成的原型与查询特征结合，完成最终分类。

Figure 1 : Computational graph of ProtoDiff. In the initial stage, the computation of the vanilla prototype $\tilde{\mathbf{z}}$ is performed based on the support set $\mathcal{S}^{i}$ . Subsequently, through the process of diffusion sampling, the diffused prototype $\mathbf{z}_{t-1}$ is derived fro

实验结果

研究问题

• RQ1 扩散模型能否在少样本学习中有效生成任务特定原型，从而超越确定性平均方法？
• RQ2 原型空间中的任务引导扩散在少样本基准上如何提升泛化能力？
• RQ3 残差原型学习在原型基元元学习中在多大程度上加速训练并提升性能？
• RQ4 ProtoDiff 在存在支持集与查询集之间领域偏移的跨域少样本学习中是否具备有效泛化能力？
• RQ5 ProtoDiff 能否在仅提供少量任务用于元训练的少任务少样本学习中实现最先进性能？

主要发现

• 在 mini-ImageNet-S 的 5 类 1 样本设置下，ProtoDiff 达到 44.75% 的准确率，超越 MetaModulation 1.54%，创下新 SOTA。
• 在具有挑战性的 DermNet-S 数据集上，ProtoDiff 在 5 类 1 样本设置下达到 51.53% 的准确率，优于此前最佳方法 1.08%。
• 在 ChestX 数据集的跨域少样本学习中，ProtoDiff 在 5 类 5 样本设置下达到 28.54% 的准确率，优于 HVM 1.39%。
• 该模型在所有基准和设置下（包括域内、跨域及少任务少样本学习）均持续优于基线方法。
• 残差原型学习显著减少训练时间并提升性能，证明了稀疏感知原型更新的有效性。
• 尽管由于扩散采样导致推理成本较高，ProtoDiff 仍保持强大性能与泛化能力，验证了准确率与效率之间的权衡。

Figure 2 : Visualization of the diffusion process. ProtoDiff randomly selects certain areas to predict during the diffusion process, with the lowest probability at the beginning time step. As time progresses, the prototype gradually aggregates towards the dog , with the highest probability at t=0.