[论文解读] The Role of Minimal Complexity Functions in Unsupervised Learning of Semantic Mappings

Tomer Galanti, Lior Wolf+1 more|arXiv (Cornell University)|Aug 31, 2017

Machine Learning and Algorithms参考文献 30被引用 14

一句话总结

本文提出，无监督跨域映射中的语义对齐是通过学习保持分布相似性和循环一致性的同时复杂度最小的函数来实现的。通过将复杂度形式化为神经网络深度，并基于最小描述长度和奥卡姆剃刀原理的理论框架，作者表明最小复杂度映射是唯一可识别且实验上最优的，该结论通过消融实验得到验证，且新提出的算法优于先前方法。

ABSTRACT

We discuss the feasibility of the following learning problem: given unmatched samples from two domains and nothing else, learn a mapping between the two, which preserves semantics. Due to the lack of paired samples and without any definition of the semantic information, the problem might seem ill-posed. Specifically, in typical cases, it seems possible to build infinitely many alternative mappings from every target mapping. This apparent ambiguity stands in sharp contrast to the recent empirical success in solving this problem. We identify the abstract notion of aligning two domains in a semantic way with concrete terms of minimal relative complexity. A theoretical framework for measuring the complexity of compositions of functions is developed in order to show that it is reasonable to expect the minimal complexity mapping to be unique. The measured complexity used is directly related to the depth of the neural networks being learned and a semantically aligned mapping could then be captured simply by learning using architectures that are not much bigger than the minimal architecture. Various predictions are made based on the hypothesis that semantic alignment can be captured by the minimal mapping. These are verified extensively. In addition, a new mapping algorithm is proposed and shown to lead to better mapping results.

研究动机与目标

• 为解决无监督跨域映射中的明显模糊性问题，即存在无穷多映射可满足分布和循环约束。
• 形式化假设：真正的语义映射对应于所有有效映射中复杂度最小的函数。
• 提出一种基于神经网络深度和组合复杂度的函数复杂度度量理论框架。
• 验证最小复杂度映射是唯一可识别的，并能带来更优的对齐性能。
• 提出一种基于最小复杂度的新无监督映射算法，提升泛化能力和对齐质量。

提出的方法

• 引入一个生成模型，将两个域均视为共享潜在空间的变换，假设域与潜在空间之间存在可逆映射。
• 将映射的复杂度定义为表示该映射所需的神经网络深度，从而将复杂度与模型架构大小关联起来。
• 形式化假设：由于最小复杂度映射与目标分布和循环一致性具有较低差异，因此其为唯一解。
• 利用覆盖数和差异度量推导最小复杂度映射数量的理论边界。
• 提出一种新算法，通过训练接近理论最小值的网络架构来强制实现最小复杂度。
• 通过在DiscoGAN和CycleGAN上进行消融研究，改变网络深度并测量对齐质量，验证预测结果。

实验结果

研究问题

• RQ1 为何无监督域迁移方法（如CycleGAN和DiscoGAN）在缺乏成对数据和语义监督的情况下仍能成功？
• RQ2 是否存在一个原则性理由，可以预期在满足分布和循环约束的无穷多可能映射中，存在唯一一个语义映射？
• RQ3 能否使用神经网络深度和组合复杂度，正式定义并度量最小复杂度映射？
• RQ4 与更深的模型相比，使用最小架构进行学习是否能带来更好的语义对齐？
• RQ5 基于最小复杂度的新算法是否能优于现有的无监督映射方法？

主要发现

• 预期最小复杂度映射的数量较少，支持语义对齐解的唯一性。
• 在CelebA和Aerial-to-Map数据集上的实验表明，WGAN训练中6层网络表现最优，而更深的网络（如10层）尽管差异度低，但对齐性能下降。
• 在Cityscapes-to-Segmentation任务中，8层模型达到最高平均像素准确率（60%）和平均IoU（13%），优于12层模型（51%准确率，8% IoU）。
• 所提出的基于最小复杂度的算法在映射结果上优于基线方法，尤其在保持语义结构方面表现更优。
• 理论分析证实，在给定约束下，最小复杂度映射是唯一可识别的，支持‘简洁性驱动语义对齐’的假设。
• 结果在多种架构（DiscoGAN、CycleGAN、WGAN）上保持一致，验证了最小复杂度假设的泛化能力。