[论文解读] Semi-supervised Kernel Metric Learning Using Relative Comparisons

Ehsan Amid, Aristides Gionis+1 more|arXiv (Cornell University)|Dec 1, 2016

Face and Expression Recognition参考文献 22被引用 8

一句话总结

该论文提出了一种高效的半监督核度量学习算法，利用相对距离比较——具体为三元组异常值选择（用户从三个项目中识别出最不相似的一项）——通过对数行列式Bregman散度学习核矩阵。与使用必须链接/不能链接约束或其他相对比较方法的现有方法相比，该方法在约束稀疏或模糊时显著提升了聚类质量。

ABSTRACT

We consider the problem of metric learning subject to a set of constraints on relative-distance comparisons between the data items. Such constraints are meant to reflect side-information that is not expressed directly in the feature vectors of the data items. The relative-distance constraints used in this work are particularly effective in expressing structures at finer level of detail than must-link (ML) and cannot-link (CL) constraints, which are most commonly used for semi-supervised clustering. Relative-distance constraints are thus useful in settings where providing an ML or a CL constraint is difficult because the granularity of the true clustering is unknown. Our main contribution is an efficient algorithm for learning a kernel matrix using the log determinant divergence --- a variant of the Bregman divergence --- subject to a set of relative-distance constraints. The learned kernel matrix can then be employed by many different kernel methods in a wide range of applications. In our experimental evaluations, we consider a semi-supervised clustering setting and show empirically that kernels found by our algorithm yield clusterings of higher quality than existing approaches that either use ML/CL constraints or a different means to implement the supervision using relative comparisons.

研究动机与目标

• 通过使用相对距离比较，解决必须链接和不能链接约束在捕捉细粒度数据结构方面的局限性。
• 开发一种高效算法，用于学习同时包含显式异常值标签和‘不知道’响应（表示三元组中三者距离相近）的核矩阵。
• 通过利用比传统成对约束更丰富、更细致的人工反馈，提升半监督聚类中的度量学习性能。
• 证明引入等距约束（来自‘不知道’回答）可提升度量质量，尤其在标注数据有限时。

提出的方法

• 该方法将度量学习建模为核矩阵优化，利用对数行列式Bregman散度确保正定性并实现平滑更新。
• 将相对距离约束建模为三元组比较，其中用户识别出三组数据点中相似度最低的项目（即异常值）。
• 通过将‘不知道’响应视为等距约束来处理，表示这三个项目大致等距。
• 采用迭代Bregman投影算法，利用矩阵求逆和Cholesky分解的闭式解高效更新核矩阵。
• 使用对偶优化求解核更新，其对偶问题为关于拉格朗日乘子的对数行列式表达式的最大化。
• 应用递归Cholesky分解技术，高效计算秩-2更新，从而实现可扩展性。

实验结果

研究问题

• RQ1 基于三元组的相对比较（包括‘不知道’响应）是否能优于传统必须链接和不能链接约束，实现更优的度量学习？
• RQ2 将等距提示（来自‘不知道’回答）纳入后，是否能提升半监督聚类中学习到的核矩阵质量？
• RQ3 与现有方法相比，使用对数行列式散度的所提核学习算法在捕捉细粒度数据结构方面是否更有效且高效？
• RQ4 该方法在多大程度上减少了对大量标注约束的依赖，同时保持或提升聚类性能？

主要发现

• 在多个基准数据集上，所提方法在聚类质量上显著优于使用必须链接和不能链接约束的基线方法。
• 将‘不知道’响应作为等距约束处理，能显著提升性能，尤其在低数据场景下。
• 由于采用闭式更新和秩-2更新的递归Cholesky分解，该算法展现出卓越的效率与可扩展性。
• 使用对数行列式Bregman散度可确保学习到的核矩阵在整个优化过程中保持正定且条件良好。
• 实证结果表明，结合异常值选择的相对比较比成对约束能获得更精确的度量，尤其在捕捉多尺度数据关系方面。