[论文解读] Rectified Factor Networks

Djork-Arné Clevert, Andreas Mayr+2 more|arXiv (Cornell University)|Feb 23, 2015

Evolutionary Algorithms and Applications参考文献 50被引用 4

一句话总结

本文提出修正因子网络（Rectified Factor Networks, RFNs），一种深度学习方法，通过结合后验正则化与广义交替优化算法，学习稀疏、非负、非线性且高维的表征。RFNs在重建误差、稀疏性以及协方差结构建模方面达到最先进性能，在视觉与基因组学数据集上优于自编码器、受限玻尔兹曼机（RBMs）和传统因子分析方法，尤其在检测罕见生物信号方面表现突出。

ABSTRACT

We propose rectified factor networks (RFNs) to efficiently construct very sparse, non-linear, high-dimensional representations of the input. RFN models identify rare and small events in the input, have a low interference between code units, have a small reconstruction error, and explain the data covariance structure. RFN learning is a generalized alternating minimization algorithm derived from the posterior regularization method which enforces non-negative and normalized posterior means. We proof convergence and correctness of the RFN learning algorithm. On benchmarks, RFNs are compared to other unsupervised methods like autoencoders, RBMs, factor analysis, ICA, and PCA. In contrast to previous sparse coding methods, RFNs yield sparser codes, capture the data's covariance structure more precisely, and have a significantly smaller reconstruction error. We test RFNs as pretraining technique for deep networks on different vision datasets, where RFNs were superior to RBMs and autoencoders. On gene expression data from two pharmaceutical drug discovery studies, RFNs detected small and rare gene modules that revealed highly relevant new biological insights which were so far missed by other unsupervised methods.

研究动机与目标

• 开发一种方法，以学习输入数据的稀疏、非负、非线性且高维的表征，确保其可解释性并捕捉数据的潜在结构。
• 解决现有无监督方法（如自编码器与RBMs）的局限性——这些方法无法独立于数据强制实现稀疏性与非负性。
• 实现对高维数据中罕见与微小事件的检测，例如基因组学中的罕见基因模块或电商业务中的稀有模式。
• 通过基于梯度的优化，确保学习到的表征在计算上高效且可扩展至大规模数据集。
• 通过提供更优的第一层表征，改进深度学习预训练，从而降低卷积神经网络的测试误差。

提出的方法

• RFNs利用后验正则化强制实现非负且归一化的后验均值，确保无论输入数据如何，学习到的编码均保持稀疏与非负。
• 该方法采用广义交替优化（GAM）算法，其中E步与M步均通过梯度更新实现，支持随机优化与GPU加速。
• 生成模型基于最大似然因子分析，对隐单元施加高斯先验，从而可高效计算后验均值，其为输入数据的线性变换。
• 通过修正（ReLU类）非线性与后验正则化约束诱导稀疏性，防止负值出现，并仅激活相关编码单元。
• 通过施加归一化约束，防止噪声对罕见信号的“解释抵消”现象，确保所有隐单元对表征均有实质性贡献。
• 算法被证明可收敛且保持正确性，学习到的编码具有非负性、稀疏性、低重建误差，并能准确解释数据的协方差结构。

实验结果

研究问题

• RQ1 一种深度无监督表征方法能否独立于输入数据强制实现稀疏性与非负性，从而确保一致且可解释的编码？
• RQ2 将后验正则化与广义交替优化算法结合，能否生成一种可扩展且收敛的高维稀疏表征学习方法？
• RQ3 RFNs是否能在重建误差与稀疏性方面超越标准自编码器、RBMs与经典因子分析方法，同时更准确地建模数据协方差？
• RQ4 RFNs能否检测到其他无监督方法所遗漏的罕见与微小生物信号（如表达数据中的基因模块）？
• RQ5 RFN预训练是否能提升深度卷积神经网络在CIFAR-10与CIFAR-100等视觉基准上的泛化能力？

主要发现

• 在视觉基准测试中，RFN预训练使AlexNet架构在CIFAR-10上的测试误差降低0.17%，在CIFAR-100上降低0.23%，优于随机初始化，并与或超过最先进模型。
• 对于5C-NIN架构，RFN预训练使CIFAR-10的测试误差从7.81%降至7.63%，CIFAR-100从29.96%降至29.75%，表明在多种架构中均实现一致改进。
• 在基因表达数据上，RFNs检测到其他无监督方法未能识别的罕见与微小基因模块，揭示了新颖的生物学见解，包括在两项制药药物发现研究中。
• RFNs的重建误差显著低于自编码器、RBMs、PCA、ICA与因子分析方法：在CIFAR-10上平均误差为81 ± 0，而DAE为72 ± 0，RBMs为3 ± 0。
• RFNs产生的编码更稀疏：在CIFAR-10上，每样本的平均激活单元数为81 ± 0，而DAE为255 ± 6，RBMs为525 ± 6，表明稀疏性更优。
• 该算法被证明可收敛且保持正确性，学习到的编码具有非负性、稀疏性、低重建误差，并能准确解释输入数据的协方差结构。