[论文解读] Multifactor Sequential Disentanglement via Structured Koopman Autoencoders

Nimrod Berman, Ilan Naiman+1 more|arXiv (Cornell University)|Mar 30, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

该论文提出了一种新颖的无监督深度学习模型——结构化Koopman自编码器，通过利用Koopman算子理论在潜在空间中实现线性动力学，从而实现多因素序列解耦。一种新型谱损失通过特征分解强制静态与动态因素的清晰分离，实现了无需监督的多个语义成分（如身份、姿态和运动）的解耦生成与操作，优于现有无监督方法在基准任务上的表现。

ABSTRACT

Disentangling complex data to its latent factors of variation is a fundamental task in representation learning. Existing work on sequential disentanglement mostly provides two factor representations, i.e., it separates the data to time-varying and time-invariant factors. In contrast, we consider multifactor disentanglement in which multiple (more than two) semantic disentangled components are generated. Key to our approach is a strong inductive bias where we assume that the underlying dynamics can be represented linearly in the latent space. Under this assumption, it becomes natural to exploit the recently introduced Koopman autoencoder models. However, disentangled representations are not guaranteed in Koopman approaches, and thus we propose a novel spectral loss term which leads to structured Koopman matrices and disentanglement. Overall, we propose a simple and easy to code new deep model that is fully unsupervised and it supports multifactor disentanglement. We showcase new disentangling abilities such as swapping of individual static factors between characters, and an incremental swap of disentangled factors from the source to the target. Moreover, we evaluate our method extensively on two factor standard benchmark tasks where we significantly improve over competing unsupervised approaches, and we perform competitively in comparison to weakly- and self-supervised state-of-the-art approaches. The code is available at https://github.com/azencot-group/SKD.

研究动机与目标

• 解决序列数据中多因素解耦缺乏无监督方法的问题，其中超过两个语义因素（如身份、姿态、运动）被解耦。
• 克服先前无监督模型仅能将数据分离为两类因素（时变与时不变成分）的局限性。
• 引入基于Koopman理论的强归纳偏置，假设序列动态可在潜在空间中线性表示。
• 提出一种谱惩罚损失，强制Koopman矩阵具有结构化形式，使静态与动态特征向量清晰分离，以实现解耦。
• 实现实用的解耦能力，如逐个因子的增量替换与固定静态因子的无条件生成。

提出的方法

• 提出一种Koopman自编码器框架，利用潜在空间中的线性算子（Koopman矩阵）建模序列数据的动力学。
• 引入一种新颖的谱损失项 $\mathcal{L}_{\text{eig}}$，惩罚特征值聚类，促进与静态因子（接近1）和动态因子（远离1）相关的特征值分离。
• 通过Koopman矩阵的特征分解提取解耦因子：每个特征向量对应一个独特的语义因子，根据其特征值分类为静态或动态。
• 设计模型为完全无监督，无需标签或辅助监督信号，训练仅依赖于重建损失与谱正则化。
• 通过超参数控制因子数量，实现多因子解耦，每个因子对应Koopman算子的一个特征向量。
• 使用基于SVD的伪逆计算实现Koopman层，以实现高效训练，仅在损失函数中使用特征分解进行谱正则化。

实验结果

研究问题

• RQ1 基于Koopman的自编码器结合谱正则化损失，能否在无监督条件下实现序列数据的多因素解耦？
• RQ2 所提出的谱损失在Koopman矩阵谱中分离静态与动态因子方面，相较于其他损失函数有多高效？
• RQ3 该模型在多大程度上支持实用的解耦操作，如在不同序列间逐个替换静态因子？
• RQ4 该模型在标准基准测试中与最先进无监督、弱监督及自监督方法的性能相比如何？
• RQ5 与现有方法相比，该方法在计算与参数效率方面表现如何？

主要发现

• 所提方法在标准双因素解耦基准上显著优于其他无监督模型，展现出更优的解耦质量。
• 谱损失使特征值清晰分离为两簇：一簇接近1（静态因子），另一簇远离1（动态因子），从而实现稳健解耦。
• 该模型实现了新型解耦能力，如在源序列与目标序列之间逐个替换静态因子，这是先前无监督模型所不支持的。
• 尽管完全无监督，该方法在性能上与最先进弱监督和自监督方法相当。
• 该模型仅使用200万个参数，远少于其他方法（如1100万至1.21亿），且无需数据增强或外部监督信号。
• 消融实验确认谱损失至关重要：无该损失的模型表现出重叠的特征值簇，导致解耦困难。