[论文解读] Sensing Theorems for Unsupervised Learning in Linear Inverse Problems

Julián Tachella, Dongdong Chen+1 more|arXiv (Cornell University)|Mar 23, 2022

Numerical methods in inverse problems被引用 9

一句话总结

本文通过推导从不完整测量中识别低维信号模型的必要且充分条件，建立了无监督学习在线性反问题中的基本感知条件。结果表明，通过具有不同零空间的多个测量算子，或通过群不变性（例如平移、旋转），均可实现模型可辨识性，且相关界仅取决于模型维数和群/算子结构，与学习算法的选择无关。

ABSTRACT

Solving an ill-posed linear inverse problem requires knowledge about the underlying signal model. In many applications, this model is a priori unknown and has to be learned from data. However, it is impossible to learn the model using observations obtained via a single incomplete measurement operator, as there is no information about the signal model in the nullspace of the operator, resulting in a chicken-and-egg problem: to learn the model we need reconstructed signals, but to reconstruct the signals we need to know the model. Two ways to overcome this limitation are using multiple measurement operators or assuming that the signal model is invariant to a certain group action. In this paper, we present necessary and sufficient sensing conditions for learning the signal model from measurement data alone which only depend on the dimension of the model and the number of operators or properties of the group action that the model is invariant to. As our results are agnostic of the learning algorithm, they shed light into the fundamental limitations of learning from incomplete data and have implications in a wide range set of practical algorithms, such as dictionary learning, matrix completion and deep neural networks.

研究动机与目标

• 解决无监督反问题中的根本性悖论：模型学习需要重建的信号，但信号重建又依赖于模型。
• 识别在仅使用不完整测量、无真实信号监督的情况下，理论上是否可能学习到低维信号模型。
• 表征通过多个测量算子或群不变性实现模型识别的最小感知需求。
• 提供与算法无关的理论界，适用于字典学习、矩阵补全和深度学习等各类方法。
• 通过形式化理论条件，统一并推广先前关于等变成像和多算子感知的实证发现。

提出的方法

• 基于信号模型的维数以及测量算子数量或群作用性质，推导出信号模型可辨识性的必要且充分感知条件。
• 利用测量算子的零空间结构，判断是否能从测量中恢复关于信号集合的信息。
• 引入群不变性概念，通过变换 $ T_g $ 生成虚拟测量算子，从而仅通过一个物理算子实现模型学习。
• 基于群作用的不可约表示制定条件，特别关注 $ \max_j c_j / s_j $，其中 $ c_j $ 为重数，$ s_j $ 为不可约表示的维数。
• 在真实世界场景中应用这些条件，使用合成数据和真实数据（如具有平移和反射不变性的 MNIST），比较无监督与监督方法的性能。
• 采用 U-Net 架构并结合等变训练损失，评估在不同压缩比 $ m/n $ 下的性能，从而实证验证理论界。

实验结果

研究问题

• RQ1 在无真实信号监督的情况下，低维信号模型在何种条件下可从不完整测量中唯一识别？
• RQ2 使用具有不同零空间的多个测量算子，如何影响信号模型的可辨识性？
• RQ3 群不变性（如平移、旋转）在多大程度上可使仅通过一个测量算子实现模型学习？
• RQ4 实现模型可辨识性的最小测量数是多少？其如何依赖于信号模型维数和群结构？
• RQ5 理论界与无监督学习设置（如字典学习或深度图像重建）中的实证性能相比如何？

主要发现

• 当测量数 $ m $ 超过 $ 2k + 1 $ 时，若平移不变性满足 $ \max_j c_j / s_j = 1 $，且假设猜想 10 成立，则可实现模型可辨识性。
• 对于 90° 旋转与反射群（$ |\mathcal{G}| = 8 $），可辨识性的充分条件为 $ m > 0.16n $，优于循环子群的 $ m > 0.28n $ 界，证实更丰富的对称性可提升性能。
• 当 $ m/n > 0.07 $ 时，无监督等变方法的性能可与监督学习相媲美；而非等变的无监督方法则完全失效，收敛至伪逆。
• 在 $ 0.03 < m/n < 0.07 $ 范围内，监督方法优于无监督等变方法，表明稳定模型识别所需测量数不仅需满足唯一性，还需更多。
• 基于群表示理论（通过 $ \max_j c_j / s_j $）推导的理论界能准确预测实证性能，验证了所提感知定理的有效性。
• 所提出的条件具有算法无关性，适用于字典学习、矩阵补全和深度神经网络，为从不完整数据中学习提供了根本性限制。