[论文解读] Score Function Features for Discriminative Learning: Matrix and Tensor Framework

Majid Janzamin, Hanie Sedghi+1 more|arXiv (Cornell University)|Dec 9, 2014

Tensor decomposition and applications参考文献 61被引用 29

一句话总结

本文提出了一种新颖的判别学习框架，利用从无标签数据中提取的矩阵和张量形式的得分函数特征。通过利用高阶得分函数和谱分解，该方法提取了与标签函数导数等价的判别信息，实现了高效且理论上有保障的特征提取，避免了局部最优问题。

ABSTRACT

Feature learning forms the cornerstone for tackling challenging learning problems in domains such as speech, computer vision and natural language processing. In this paper, we consider a novel class of matrix and tensor-valued features, which can be pre-trained using unlabeled samples. We present efficient algorithms for extracting discriminative information, given these pre-trained features and labeled samples for any related task. Our class of features are based on higher-order score functions, which capture local variations in the probability density function of the input. We establish a theoretical framework to characterize the nature of discriminative information that can be extracted from score-function features, when used in conjunction with labeled samples. We employ efficient spectral decomposition algorithms (on matrices and tensors) for extracting discriminative components. The advantage of employing tensor-valued features is that we can extract richer discriminative information in the form of an overcomplete representations. Thus, we present a novel framework for employing generative models of the input for discriminative learning.

研究动机与目标

• 开发一种通用的特征学习框架，利用无标签数据提取用于下游任务的判别特征。
• 刻画输入概率密度的高阶得分函数所捕获的判别信息。
• 为得分函数特征在判别学习中的表达能力和实用性提供理论保证。
• 通过在矩阵和张量上进行谱分解，实现高效、可扩展且全局最优的特征提取。
• 展示张量形式特征在捕捉过完备、丰富的表示方面相较于基于矩阵的方法的优势。

提出的方法

• 该方法基于输入概率密度函数（pdf）的高阶导数（即得分函数）构建矩阵和张量形式的特征。
• 通过构造标签与输入得分特征之间的交叉矩，采用矩方法提取判别成分。
• 理论分析表明，这些交叉矩对应于标签函数相对于输入或模型参数的期望导数。
• 使用谱分解算法——特别是张量分解——从矩张量中提取低秩、信息丰富的成分。
• 该框架利用斯丁恒等式和递归得分函数恒等式，推导出高阶得分函数的闭式表达式。
• 该方法通过张量分解避免了局部最优问题，其收敛性在弱条件下可被证明，与深度学习中的非凸优化形成对比。

实验结果

研究问题

• RQ1 从无标签数据中提取的高阶得分函数特征中，可以提取出何种判别信息？
• RQ2 如何通过得分函数与标签导出的矩张量的谱分解，获得用于分类任务的最优表示？
• RQ3 张量形式的得分特征在捕捉判别结构方面，相较于矩阵形式特征有何优势？
• RQ4 该方法是否能在预训练阶段不依赖标签数据的情况下，为提取特征的质量提供理论保证？
• RQ5 得分函数特征与标签函数导数之间的确切关系是什么？

主要发现

• 标签与得分函数特征之间的交叉矩在数学上等价于标签函数相对于输入或模型参数的期望导数。
• 高阶得分函数（矩阵和张量）比一阶特征更能捕捉输入概率密度的丰富局部流形结构。
• 基于张量的方法可实现过完备表示，从而支持更具表现力和判别性的特征学习。
• 矩张量的谱分解提供了一种全局最优且高效的方法，用于提取判别成分，且无局部最优问题。
• 该框架通过斯丁恒等式和递归得分函数恒等式获得理论基础，确保了正确性和可解释性。
• 在弱正则性条件下，该方法可提供可证明的性能保证，使其适用于标注数据有限的真实应用场景。