[论文解读] Representation Learning for Clustering: A Statistical Framework

Hassan Ashtiani, Shai Ben-David|arXiv (Cornell University)|Jun 19, 2015

Machine Learning and Algorithms参考文献 12被引用 6

一句话总结

本文提出了一种用于聚类中表示学习的统计框架，其中用户提供一个小数据样本的聚类结果，以指导在完整数据集上进行k均值聚类时，使数据表示学习结果与用户期望的聚类一致。核心贡献是提出了一种类似VC维的表示能力概念，表明有限能力类可在泛化保证下被学习，并提供了线性嵌入的分析。

ABSTRACT

We address the problem of communicating domain knowledge from a user to the designer of a clustering algorithm. We propose a protocol in which the user provides a clustering of a relatively small random sample of a data set. The algorithm designer then uses that sample to come up with a data representation under which $k$-means clustering results in a clustering (of the full data set) that is aligned with the user's clustering. We provide a formal statistical model for analyzing the sample complexity of learning a clustering representation with this paradigm. We then introduce a notion of capacity of a class of possible representations, in the spirit of the VC-dimension, showing that classes of representations that have finite such dimension can be successfully learned with sample size error bounds, and end our discussion with an analysis of that dimension for classes of representations induced by linear embeddings.

研究动机与目标

• 正式化一种协议，通过用户提供的小样本聚类结果将领域知识融入聚类。
• 开发一种统计框架，确保从此类用户标注样本中学习数据表示时具备泛化能力。
• 引入一种类比于VC维的表示类容量概念，实现样本复杂度分析。
• 分析在用户引导下，基于k均值聚类的表示学习的样本复杂度和泛化误差。
• 为在所提框架下通过线性嵌入学习表示提供理论保证。

提出的方法

• 用户提供数据集中一个小随机样本的聚类结果，作为监督信号。
• 算法学习一种表示（映射到欧氏空间或希尔伯特空间），使得在映射空间中进行k均值聚类时，能复现用户在完整数据集上的聚类结果。
• 引入一个统计模型以分析样本复杂度，重点在于泛化误差界。
• 定义了$(\eta, \epsilon)$-唯一性概念，以确保表示的微小差异仅导致聚类结果的微小变化。
• 通过类比VC维的概念形式化表示类的容量，从而实现泛化保证。
• 将该框架应用于线性嵌入，并分析了此类表示类的容量维数。

实验结果

研究问题

• RQ1 我们能否正式建模学习数据表示的问题，使其能泛化用户在小样本上提供的聚类？
• RQ2 学习一种表示，使得在完整数据集上进行k均值聚类的结果与用户聚类一致，所需的样本复杂度是多少？
• RQ3 如何为表示类定义一种容量度量，以确保泛化，类似于监督学习中的VC维？
• RQ4 由线性嵌入诱导的表示类的容量维数是多少？
• RQ5 我们能否为该范式下的聚类表示学习提供泛化误差界？

主要发现

• 本文提出了一种使用用户提供的小样本聚类结果进行聚类中表示学习的正式统计框架。
• 定义了$(\eta, \epsilon)$-唯一性概念，确保表示的微小差异仅导致聚类结果的微小变化，从而支持泛化。
• 本文证明了具有有限容量的表示类（类比于VC维）可在泛化保证下被学习。
• 对于线性嵌入，本文推导出有限的容量维数，表明此类表示类在所提框架下是可学习的。
• 该框架基于样本大小和表示容量提供了泛化误差界，确保学习到的表示能良好泛化到完整数据集。
• 该方法形式化了一种将领域知识系统性地融入聚类的原理性方法，超越了随意的特征工程。