[论文解读] Revisit Lmser and its further development based on convolutional layers

Wenjing Huang, Shikui Tu+1 more|arXiv (Cornell University)|Apr 12, 2019

Fire Detection and Safety Systems参考文献 15被引用 6

一句话总结

本文重新审视了1991年提出的Lmser网络——最初为对称的、权重共享的自编码器——通过将其扩展至深层卷积神经网络架构，以提升图像任务性能。结果表明，采用卷积层的Lmser能够实现稳定训练，并在图像重建、生成、关联记忆召回及分类任务中取得优异表现，证实其在现代深度学习场景下的可行性与通用性。

ABSTRACT

Proposed in 1991, Least Mean Square Error Reconstruction for self-organizing network, shortly Lmser, was a further development of the traditional auto-encoder (AE) by folding the architecture with respect to the central coding layer and thus leading to the features of symmetric weights and neurons, as well as jointly supervised and unsupervised learning. However, its advantages were only demonstrated in a one-hidden-layer implementation due to the lack of computing resources and big data at that time. In this paper, we revisit Lmser from the perspective of deep learning, develop Lmser network based on multiple convolutional layers, which is more suitable for image-related tasks, and confirm several Lmser functions with preliminary demonstrations on image recognition, reconstruction, association recall, and so on. Experiments demonstrate that Lmser indeed works as indicated in the original paper, and it has promising performance in various applications.

研究动机与目标

• 重新审视原始Lmser网络，该网络最初受限于计算能力，仅适用于单层全连接网络，现将其扩展至深层多层架构。
• 将Lmser适配至卷积神经网络（CNN）架构，以提升其在图像识别、重建和生成等任务中的性能。
• 通过实验验证Lmser的核心功能（如对称权重共享、联合监督/无监督学习以及关联记忆）在深层网络中的有效性。
• 证明采用卷积层的Lmser在复杂图像数据集（如MNIST、Fashion-MNIST和CelebA）上仍能保持训练稳定性与泛化能力。
• 探索Lmser在可控图像生成与部分输入恢复方面的潜力，利用其对称且双向的结构特性。

提出的方法

• 提出一种具有对称权重共享的深层Lmser网络：编码器与解码器采用完全相同的架构，并共享权重（W与W^T），实现双向信号传播。
• 将Lmser框架从全连接层扩展至卷积层，通过共享转置卷积与卷积滤波器，保持编码器与解码器路径间的权重对称性。
• 采用双阶段学习机制：感知阶段通过前向与反向传播实现信号平衡，随后在学习阶段使用均方误差（MSE）损失更新权重。
• 引入监督式Lmser，利用中心编码层的部分神经元进行标签预测，实现无监督与监督学习的联合优化。
• 在编码器与解码器的对称神经元之间引入跳跃连接，以增强特征重建效果与训练稳定性。
• 在标准数据集（MNIST、Fashion-MNIST、CelebA）上应用该网络处理图像任务，通过反向传播进行训练，并在重建、生成与关联记忆召回任务上进行评估。

实验结果

研究问题

• RQ1 原始Lmser网络能否在保持图像任务稳定性与性能的前提下，成功扩展至深层多层卷积神经网络架构？
• RQ2 Lmser的对称权重共享与双向结构是否能在深层CNN设置中有效实现图像重建与生成？
• RQ3 Lmser能否通过其对称且可逆的结构，实现从部分输入（如遮挡面部图像）中进行关联记忆召回？
• RQ4 在图像数据集上的重建、生成与分类任务中，Lmser的性能与标准自编码器（AE）相比如何？
• RQ5 在中心编码层中操纵潜在代码单元时，Lmser在多大程度上能够支持可控图像生成？

主要发现

• 采用卷积层的深层Lmser网络训练稳定且高效，证实原始Lmser架构在深度学习场景中具备可行性。
• Lmser结合卷积层可实现高质量的图像重建与生成，合成图像展现出合理的结构，并支持风格与形状的可控变化。
• 通过操纵单个潜在代码单元可实现可控图像生成：例如，逐步改变一个代码单元可使数字逐渐转变为新风格（如在头部添加圆形）或改变倾斜角度，表明特征表示具有良好的组织性与聚类性。
• 成功实现从部分输入（如面部图像中被遮挡的眼睛）的关联记忆召回，重建图像与真实图像高度接近，证明网络能利用对称双向推理有效推断缺失部分。
• 实验表明，Lmser在重建与生成任务中优于标准自编码器，尤其在生成多样化且合理的新型样本方面表现更优。
• 对称权重共享与共享神经元的使用，实现了输入与重建数据之间的稳定、可逆映射，支持无监督及联合监督学习。