[论文解读] PICASO: Permutation-Invariant Cascaded Attentional Set Operator

Samira Zare, Hien Van Nguyen|arXiv (Cornell University)|Jan 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用 1

一句话总结

PICASO 是一种排列不变的级联多头注意力集合算子，通过动态构建模板来建模集合元素之间的高阶交互，显著提升了集合相关任务的性能。它在新型视角下的图像分类（准确率提升约10%）、异常检测（AUC-ROC提升22%）以及状态预测（平均精度AP提升40%）任务中均取得了当前最优结果。

ABSTRACT

Set-input deep networks have recently drawn much interest in computer vision and machine learning. This is in part due to the increasing number of important tasks such as meta-learning, clustering, and anomaly detection that are defined on set inputs. These networks must take an arbitrary number of input samples and produce the output invariant to the input set permutation. Several algorithms have been recently developed to address this urgent need. Our paper analyzes these algorithms using both synthetic and real-world datasets, and shows that they are not effective in dealing with common data variations such as image translation or viewpoint change. To address this limitation, we propose a permutation-invariant cascaded attentional set operator (PICASO). The gist of PICASO is a cascade of multihead attention blocks with dynamic templates. The proposed operator is a stand-alone module that can be adapted and extended to serve different machine learning tasks. We demonstrate the utilities of PICASO in four diverse scenarios: (i) clustering, (ii) image classification under novel viewpoints, (iii) image anomaly detection, and (iv) state prediction. PICASO increases the SmallNORB image classification accuracy with novel viewpoints by about 10% points. For set anomaly detection on CelebA dataset, our model improves the areas under ROC and PR curves dataset by about 22% and 10%, respectively. For the state prediction on CLEVR dataset, it improves the AP by about 40%.

研究动机与目标

• 解决现有集合输入神经网络在常见数据变化（如图像平移和视角变化）下的泛化能力差的问题。
• 开发一种可学习的、排列不变的信息聚合机制，以捕捉集合元素之间的高阶依赖关系。
• 设计一种模块化、独立的集合算子，可集成于各类机器学习流程中，用于聚类、分类、异常检测和状态预测等任务。
• 证明在注意力机制中，动态模板学习相比静态模板在性能上更具优势。

提出的方法

• PICASO 采用多头注意力模块的级联结构，每个模块根据输入数据动态生成自身的注意力模板，实现自适应特征聚合。
• 该算子使用广义块（GPB），通过迭代更新和权重共享机制，可处理任意大小的输入集合。
• 每个注意力模块从输入元素中计算查询、键和值，并利用动态模板关注相关部分，确保排列不变性。
• 该模型可与CNN编码器集成，并可结合额外层（如距离计算）以提升下游任务性能。
• 它支持排列不变输出和排列等变输出，适用于异常检测和物体状态预测等应用。
• 该方法在理论上与软K均值相关联，表明在特定条件下，PICASO可实现类似聚类的操作。

实验结果

研究问题

• RQ1 集合输入神经网络能否在常见数据变化（如图像平移和视角变化）下实现良好泛化？
• RQ2 与现有模型中使用的静态模板相比，注意力机制中的动态模板学习是否能提升泛化性能？
• RQ3 可学习的级联注意力机制能否在集合表示学习中超越预设的池化和注意力聚合方法？
• RQ4 单一集合算子在聚类、分类、异常检测和状态预测等多样化任务中的泛化能力可达到何种程度？
• RQ5 所提出的动态注意力机制是否具备建模集合元素之间高阶依赖关系的能力？

主要发现

• 与Set Transformer相比，PICASO在SmallNORB数据集上的新型视角图像分类任务中，准确率提升了约10个百分点。
• 在CelebA异常检测基准上，PICASO相比基线模型将AUROC提升了约22%，AUPR提升了10%。
• 在CLEVR数据集的状态预测任务中，PICASO相比Set Transformer将平均精度（AP）提升了40%。
• 采用三步更新和权重共享的广义PICASO块（GPB）能有效处理异常检测任务中可变大小的集合。
• 定性分析表明，PICASO能有效突出重要元素，其注意力图揭示了有意义的特征交互。
• 在所有评估任务中，PICASO均优于多个基线模型（包括Set Transformer、PMA和Slot Attention），展现出强大的泛化能力和鲁棒性。