[论文解读] Provable Finite Data Generalization with Group Autoencoder.

Romain Cosentino, Randall Balestriero+2 more|arXiv (Cornell University)|Sep 20, 2020

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 4

一句话总结

本文提出了一种基于李群结构的新型正则化方法，用于深度自编码器（AEs），以确保在有限训练数据设置下的可证明泛化能力。通过采用样条框架分析自编码器并施加群约束，该方法实现了改进的泛化与重建保证，并在多个数据集上得到了实证验证。

ABSTRACT

Deep Autoencoders (AEs) provide a versatile framework to learn a compressed, interpretable, or structured representation of data. As such, AEs have been used extensively for denoising, compression, data completion as well as pre-training of Deep Networks (DNs) for various tasks such as classification. By providing a careful analysis of current AEs from a spline perspective, we can interpret the input-output mapping, in turn allowing us to derive conditions for generalization and reconstruction guarantee. By assuming a Lie group structure on the data at hand, we are able to derive a novel regularization of AEs, allowing for the first time to ensure the generalization of AEs in the finite training set case. We validate our theoretical analysis by demonstrating how this regularization significantly increases the generalization of the AE on various datasets.

研究动机与目标

• 解决在有限数据集上训练深度自编码器时缺乏泛化保证的问题。
• 通过基于样条的分析，建立自编码器在泛化与重建方面的理论条件。
• 提出一种基于李群结构的新型正则化技术，以在数据流形上施加结构归纳偏置。
• 通过在多样化数据集上的实证评估验证理论框架，展示改进的泛化性能。

提出的方法

• 通过样条插值视角分析自编码器的输入-输出映射，推导泛化条件。
• 假设数据流形具有李群结构，从而在潜在空间中形式化群一致性约束。
• 引入一种新型正则化项，以在自编码器的编码器与解码器映射中强制实现群不变性与一致性。
• 在群结构假设下，推导重建误差与泛化误差的理论界。
• 将正则化自编码器应用于学习结构化、压缩的表征，使其在未见的有限数据上具有良好泛化能力。
• 在多个数据集上验证该方法，并与标准自编码器基线比较泛化性能。

实验结果

研究问题

• RQ1 我们能否为在有限数据集上训练的自编码器推导出泛化与重建的理论条件？
• RQ2 如何利用数据上的李群结构来提升自编码器的泛化能力？
• RQ3 何种正则化机制可确保自编码器表征在训练集之外也具有泛化能力？
• RQ4 与标准自编码器相比，群体感知正则化在多大程度上提升了泛化性能？
• RQ5 基于样条的分析框架能否用于为自编码器推导出可证明的泛化保证？

主要发现

• 所提出的群体感知正则化首次在有限训练集场景下为自编码器提供了可证明的泛化保证。
• 基于样条框架的理论分析提供了自编码器实现泛化与准确重建的条件。
• 实证结果表明，与标准自编码器相比，该方法在多个数据集上显著提升了泛化性能。
• 该方法在保持强重建质量的同时增强了泛化能力，证明了基于群结构正则化的有效性。
• 即使在训练数据有限的情况下，该正则化依然有效，凸显其在低数据场景下的实用性。
• 理论与实证结果共同证实，在潜在空间中强制实现李群一致性可带来更好的泛化性能。