[论文解读] Zero-bias autoencoders and the benefits of co-adapting features

Kishore Konda, Roland Memisevic+1 more|arXiv (Cornell University)|Feb 13, 2014

Domain Adaptation and Few-Shot Learning参考文献 31被引用 37

一句话总结

本文提出零偏置自编码器，通过用修正线性推理机制替代有偏置的激活函数，解耦自编码器中隐藏单元的双重角色——表示特征与强制稀疏性。通过消除负偏置，该模型在无需额外正则化的情况下学习到更鲁棒、高维的表征，且在排列不变的CIFAR-10和Hollywood2动作识别基准上达到最先进性能。

ABSTRACT

Regularized training of an autoencoder typically results in hidden unit biases that take on large negative values. We show that negative biases are a natural result of using a hidden layer whose responsibility is to both represent the input data and act as a selection mechanism that ensures sparsity of the representation. We then show that negative biases impede the learning of data distributions whose intrinsic dimensionality is high. We also propose a new activation function that decouples the two roles of the hidden layer and that allows us to learn representations on data with very high intrinsic dimensionality, where standard autoencoders typically fail. Since the decoupled activation function acts like an implicit regularizer, the model can be trained by minimizing the reconstruction error of training data, without requiring any additional regularization.

研究动机与目标

• 探究为何正则化自编码器在训练过程中会发展出较大的负隐藏单元偏置。
• 识别负偏置对高内在维数数据中表征学习的有害影响。
• 提出一种新型自编码器架构，通过零偏置、修正线性激活函数实现特征表征与稀疏性强制的解耦。
• 证明该方法仅通过重构误差即可实现有效训练，无需额外正则化（如去噪或收缩）。
• 在高维数据（包括图像和视频识别任务）上评估性能，表明其在泛化能力上优于标准自编码器。

提出的方法

• 提出一种新型激活函数，将标准Sigmoid或ReLU替换为无偏置预激活的修正线性推理：$ h(a) = \max(0, a) $。
• 解耦隐藏单元的角色：一个用于通过预激活阈值选择活跃特征，另一个通过重构中的线性组合表示系数。
• 仅使用重构误差最小化作为训练目标，无需显式正则化（如去噪或收缩）。
• 采用阈值机制（TRec和TLin），仅当预激活值超过零时才激活隐藏单元，有效充当选择机制。
• 在图像和视频数据上应用该模型，使用PCA白化后的图像块，并通过SVM和K-means的下游识别流程评估特征质量。
• 比较不同推理方案：有偏置修正线性、无偏置修正线性与基于Sigmoid的推理，评估其在排列不变CIFAR-10和Hollywood2数据集上的性能。

实验结果

研究问题

• RQ1 为何标准正则化自编码器在隐藏单元中会发展出较大的负偏置？
• RQ2 负偏置如何损害高内在维数数据中表征的学习？
• RQ3 能否通过解耦隐藏单元的选择与表征功能，在无需显式正则化的情况下改善特征学习？
• RQ4 零偏置、修正线性推理机制是否在高维数据（如视频）上优于标准自编码器？
• RQ5 在使用所提出的激活函数时，仅靠重构误差是否足以训练出有效的自编码器？

主要发现

• 标准自编码器中的负偏置源于隐藏单元在同时承担特征选择与系数表征双重角色的自然结果。
• 负偏置会通过限制模型捕捉复杂、分布式表征的能力，阻碍高内在维数数据（如视频帧）中的学习。
• 所提出的零偏置自编码器结合修正线性推理，在排列不变CIFAR-10上达到50.4%的平均精度，优于标准收缩与去噪自编码器。
• 在Hollywood2动作识别数据集上，TRec与TLin自编码器表现最佳，显著优于具有局部化或门控特征的模型。
• 在测试阶段使用无偏置修正线性推理可提升所提模型与收缩自编码器的性能，证实其鲁棒性。
• 该模型在无需额外正则化的情况下实现最先进性能，仅依赖重构误差最小化，证明了新激活函数的隐式正则化效应。