[论文解读] Parallelized Tensor Train Learning For Polynomial Pattern Classification

Zhongming Chen, Kim Batselier+2 more|arXiv (Cornell University)|Dec 20, 2016

Tensor decomposition and applications被引用 1

一句话总结

该论文提出了一种基于张量列车（tensor train）的多项式分类器，通过高效表示多元多项式，克服了高维模式分类中的维度灾难问题。通过低复杂度优化与并行化，该方法在USPS和MNIST数据集上实现了高精度，且具备可扩展的训练能力，展示了在复杂决策边界学习中兼具效率与有效性。

ABSTRACT

In pattern classification, polynomial classifiers are well-studied methods as they are capable of generating complex decision surfaces. Unfortunately, the use of multivariate polynomials is limited to kernels as in support vector machines, because polynomials quickly become impractical for high-dimensional problems. In this paper, we effectively overcome the curse of dimensionality by employing the tensor train format to represent a polynomial classifier. Based on the structure of tensor trains, two learning algorithms are proposed which involve solving different optimization problems of low computational complexity. Furthermore, we show how both regularization to prevent overfitting and parallelization, which enables the use of large training sets, are incorporated into these methods. Both the efficiency and efficacy of our tensor-based polynomial classifier are then demonstrated on the two popular datasets USPS and MNIST.

研究动机与目标

• 为解决由于维度灾难导致的高维数据中多元多项式分类器计算不可行的问题。
• 开发一种可扩展的学习框架，在降低计算成本的同时保持多项式决策边界的表达能力。
• 将正则化与并行化整合到学习过程中，以提升泛化能力并支持大规模数据集的训练。

提出的方法

• 使用张量列车（TT）格式表示多项式分类器，该格式将高阶张量分解为一系列低阶核心，显著减少参数数量。
• 基于TT结构设计两种不同的优化问题，从而支持适用于高维数据的低复杂度学习算法。
• 将正则化技术整合到TT-based优化过程中，以防止过拟合并提升泛化能力。
• 通过在多个处理器之间分配计算任务，实现学习过程的并行化，支持大规模训练集。
• 利用张量列车的低秩结构，在最小化计算开销的同时保持模型的表达能力。

实验结果

研究问题

• RQ1 张量列车格式能否在高维模式分类任务中有效表示多项式分类器？
• RQ2 如何设计张量列车格式中的优化问题，以确保计算复杂度较低？
• RQ3 在不牺牲模型精度的前提下，正则化与并行化在TT-based学习中可实现到何种程度的集成？
• RQ4 与传统多项式分类器相比，该方法在真实世界数据集上的可扩展性与性能表现如何？

主要发现

• 基于张量列车的多项式分类器在MNIST和USPS数据集上实现了高精度，即使在高维情况下也表现出色。
• 通过有效的并行化，该方法实现了可扩展的训练，使大规模训练集的使用成为可能。
• 正则化被成功集成到学习过程中，有效减少了过拟合并提升了泛化能力。
• 与标准多项式分类器相比，该方法显著减少了参数数量，有效缓解了维度灾难问题。