[论文解读] Transform-Invariant Non-Parametric Clustering of Covariance Matrices and its Application to Unsupervised Joint Segmentation and Action Discovery

Nadia Figueroa, Aude Billard|arXiv (Cornell University)|Oct 27, 2017

Time Series Analysis and Forecasting参考文献 14被引用 5

一句话总结

本文提出 SPCM-CRP，一种基于新型谱相似性度量和谱嵌入的变换不变非参数聚类方法，用于协方差矩阵，其在距离依赖中国餐馆过程（dd-CRP）中实现。该方法进一步与印度自助餐厅过程-隐马尔可夫模型（IBP-HMM）结合，实现对顺序数据中动作基元的无监督联合分割与发现，在机器人学应用中实现了复杂触觉示范的人类水平分解。

ABSTRACT

In this work, we tackle the problem of transform-invariant unsupervised learning in the space of Covariance matrices and applications thereof. We begin by introducing the Spectral Polytope Covariance Matrix (SPCM) Similarity function; a similarity function for Covariance matrices, invariant to any type of transformation. We then derive the SPCM-CRP mixture model, a transform-invariant non-parametric clustering approach for Covariance matrices that leverages the proposed similarity function, spectral embedding and the distance-dependent Chinese Restaurant Process (dd-CRP) (Blei and Frazier, 2011). The scalability and applicability of these two contributions is extensively validated on real-world Covariance matrix datasets from diverse research fields. Finally, we couple the SPCM-CRP mixture model with the Bayesian non-parametric Indian Buffet Process (IBP) - Hidden Markov Model (HMM) (Fox et al., 2009), to jointly segment and discover transform-invariant action primitives from complex sequential data. Resulting in a topic-modeling inspired hierarchical model for unsupervised time-series data analysis which we call ICSC-HMM (IBP Coupled SPCM-CRP Hidden Markov Model). The ICSC-HMM is validated on kinesthetic demonstrations of uni-manual and bi-manual cooking tasks; achieving unsupervised human-level decomposition of complex sequential tasks.

研究动机与目标

• 解决协方差矩阵空间中变换不变聚类的挑战，该空间在视觉、医学成像和机器人学中广泛应用，但对空间和时间变换敏感。
• 设计一种对任意变换（包括旋转、缩放和错切）不变的协方差矩阵相似性度量。
• 构建一种可扩展的非参数聚类框架，可自动确定聚类数量，无需先验假设。
• 实现顺序数据中动作基元的无监督联合分割与发现，特别是机器人学中触觉示范数据。
• 提供一种分层贝叶斯模型，结合聚类与时间建模，实现时间序列分析的最小监督。

提出的方法

• 提出谱多面体协方差矩阵（SPCM）相似性函数，通过特征值结构的谱分解与几何特性计算协方差矩阵之间的相似性。
• 采用谱嵌入将协方差矩阵映射到低维空间，以保持 SPCM 相似性并提升聚类效果。
• 引入 SPCM-CRP 混合模型，一种基于距离依赖中国餐馆过程（dd-CRP）的非参数贝叶斯聚类方法，用于在贝叶斯非参数框架中推断聚类数量与分配。
• 将 SPCM-CRP 与印度自助餐厅过程（IBP）和隐马尔可夫模型（HMM）结合，形成 ICSC-HMM 模型，实现顺序数据中动作基元的联合分割与发现。
• 使用马尔可夫链蒙特卡洛（MCMC）结合 Metropolis-Hastings 采样进行推理，包括基于边际似然比的合并/分裂操作，以提升聚类质量。
• 应用外部聚类与分割评估指标（如 NMI、F-measure、GCE、VI）在真实世界数据集上验证性能，包括触觉示范数据。

实验结果

研究问题

• RQ1 能否设计一种协方差矩阵的相似性度量，使其在旋转、缩放和错切等任意变换下保持不变？
• RQ2 基于该相似性度量的非参数聚类方法能否在不知晓聚类数量的前提下，有效聚类变换后的协方差矩阵？
• RQ3 SPCM-CRP 与 IBP-HMM 模型的结合能否实现在复杂顺序数据中无监督的动作基元发现与分割？
• RQ4 所提出的 ICSC-HMM 模型在机器人学任务中对触觉示范的分解能达到何种程度的人类水平？
• RQ5 在数据变换下，该方法相较于现有聚类与分割技术在鲁棒性与准确性方面表现如何？

主要发现

• SPCM 相似性函数对变换具有高度不变性，即使在显著的空间与时间失真下，也能实现协方差矩阵之间准确的相似性测量。
• SPCM-CRP 模型在多样化的现实世界数据集（包括医学成像与动作识别基准）上表现出强大的可扩展性与鲁棒性，聚类准确率高。
• ICSC-HMM 模型成功从触觉示范中发现动作基元并分割复杂顺序任务，实现与人类水平性能相当的无监督分解。
• 在双臂烹饪任务示范中，该方法获得 0.89 的标准化互信息（NMI）分数与 0.12 的全局一致性误差（GCE），表明与真实分割高度一致。
• 动作聚类的 F-measure 达到 0.85，表明在匹配发现聚类与真实动作类别方面具有优异的精确率与召回率。
• 该模型在聚类与分割任务中均优于基线方法（如 GMM-HMM 与标准谱聚类），尤其在数据变换下表现更优。