[论文解读] Set aggregation network for structured data processing

Łukasz Maziarka, Marek Śmieja+4 more|arXiv (Cornell University)|Oct 3, 2018

Remote-Sensing Image Classification被引用 1

一句话总结

本文提出集合聚合网络（SAN），一种用于结构化数据的新颖全局池化层，能够将特征集合嵌入任意大小的向量，同时保留完整的输入信息。与标准池化不同，SAN通过可学习的聚合机制学习有意义且可调节大小的表示，从而提升分类准确率、减少过拟合，并起到正则化作用。

ABSTRACT

Global pooling, such as max- or sum-pooling, is one of the key ingredients in deep neural networks used for processing images, texts, graphs and other types of structured data. Based on the recent DeepSets architecture proposed by Zaheer et al. (NIPS 2017), we introduce a Set Aggregation Network (SAN) as an alternative global pooling layer. In contrast to typical pooling operators, SAN allows to embed a given set of features to a vector representation of arbitrary size. We show that by adjusting the size of embedding, SAN is capable of preserving the whole information from the input. In experiments, we demonstrate that replacing global pooling layer by SAN leads to the improvement of classification accuracy. Moreover, it is less prone to overfitting and can be used as a regularizer.

研究动机与目标

• 解决深度神经网络中固定大小全局池化层（如最大池化或求和池化）的局限性。
• 实现从输入特征集合中学习任意大小的向量表示。
• 通过灵活的嵌入维度，保留输入集合的全部信息。
• 通过可学习的、结构化的聚合机制，提升模型泛化能力，减少过拟合。
• 为结构化数据处理中的标准全局池化层提供一种正则化替代方案。

提出的方法

• SAN 用可学习的聚合机制替代传统全局池化，将输入特征集合映射为可配置大小的向量。
• 网络使用参数化函数聚合特征，使输出维度可独立于输入集合大小进行调整。
• 该架构受 DeepSets 启发，但通过可学习参数扩展了其能力，实现与大小无关且信息保留的嵌入。
• 聚合过程可微分，支持使用标准反向传播进行端到端训练。
• SAN 保持排列不变性，确保输入特征顺序变化时输出保持一致。
• 该方法支持固定和可学习的嵌入维度，可控制表示容量。

实验结果

研究问题

• RQ1 能否设计一种全局池化层，在保留输入集合全部信息的同时，支持任意输出维度？
• RQ2 与标准池化操作相比，可学习的聚合机制在分类准确率方面表现如何？
• RQ3 与传统全局池化层相比，集合聚合网络在多大程度上能减少过拟合？
• RQ4 所提出的网络能否作为深度学习模型中结构化数据的有效正则化器？
• RQ5 调整嵌入大小的能力是否能提升模型在结构化数据任务上的性能？

主要发现

• 将标准全局池化层替换为 SAN 可在基准结构化数据任务上提升分类准确率。
• SAN 更不易过拟合，在训练数据有限时表现出更好的泛化性能。
• 通过学习适当大小的嵌入，网络能够保留输入集合的全部信息。
• SAN 充当正则化器，无需额外架构组件即可减少过拟合。
• 该方法在保持排列不变性的同时，实现了集合特征的灵活且可学习的表示学习。