[论文解读] Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis

Andrew Stevens, Yunchen Pu+3 more|ArXiv.org|Dec 8, 2016

Tensor decomposition and applications被引用 7

一句话总结

本文提出Kruskal-因子分析（KFA），一种贝叶斯非参数张量词典学习模型，将张量变量数据表示为Kruskal分解的稀疏和，实现任意阶张量的过完备、秩自适应分解。KFA在多路去噪、盲插补（PSNR提升超过1dB）以及Caltech101图像分类任务中达到最先进性能，优于BPFA、张量分解和卷积神经网络（CNNs）的关键基准表现。

ABSTRACT

A multi-way factor analysis model is introduced for tensor-variate data of any order. Each data item is represented as a (sparse) sum of Kruskal decompositions, a Kruskal-factor analysis (KFA). KFA is nonparametric and can infer both the tensor-rank of each dictionary atom and the number of dictionary atoms. The model is adapted for online learning, which allows dictionary learning on large data sets. After KFA is introduced, the model is extended to a deep convolutional tensor-factor analysis, supervised by a Bayesian SVM. The experiments section demonstrates the improvement of KFA over vectorized approaches (e.g., BPFA), tensor decompositions, and convolutional neural networks (CNN) in multi-way denoising, blind inpainting, and image classification. The improvement in PSNR for the inpainting results over other methods exceeds 1dB in several cases and we achieve state of the art results on Caltech101 image classification.

研究动机与目标

• 解决现有张量词典学习方法在低阶、可分或浅层表示方面的局限性。
• 开发一种非参数贝叶斯模型，可推断张量变量数据表示中词典原子的数量及每个原子的秩。
• 实现模型的在线学习与深度卷积扩展，以支持大规模数据集上的可扩展学习和更优的特征表示。
• 证明秩过完备性——即原子数量超过张量秩——可增强稀疏性、鲁棒性及在真实任务中的性能。

提出的方法

• KFA将张量变量数据建模为Kruskal分解的稀疏和，其中每个原子为一个秩可非参数推断的低秩张量。
• 模型使用层次贝塔-伯努利过程在权重矩阵中引入稀疏性，共轭先验支持高效的吉布斯采样。
• 采用贝叶斯SVM监督深度卷积扩展，实现端到端学习与判别性微调。
• 基于块条件分布分解（BCDF）的在线学习变体支持大规模数据集的mini-batch推理。
• 深度卷积扩展Kruskal DGDN在每一层使用秩过完备、结构化的词典原子，结合池化与分层特征学习。
• 通过利用Kruskal分解中固有的低秩结构与稀疏性约束，模型支持盲插补与去噪。

实验结果

研究问题

• RQ1 非参数张量词典模型是否能在无先验假设的情况下，推断张量变量数据表示中原子的数量及每个原子的秩？
• RQ2 当原子数量超过张量秩时，即秩过完备性，对张量分解中的稀疏性、鲁棒性与性能有何影响？
• RQ3 深度卷积张量因子分析模型是否能在图像分类与去噪任务中超越标准CNN与向量化词典学习？
• RQ4 与BPFA、张量分解及CNN相比，所提出的KFA模型是否在多路去噪与盲插补任务中达到最先进性能？
• RQ5 该模型能否扩展至在线学习，同时在大规模数据集上保持高性能？

主要发现

• KFA在Caltech101图像分类基准上达到最先进性能，Kruskal DGDN仅使用每类30张图像即达到88.3%的准确率。
• 在盲插补任务中，KFA在多个数据集上相较基线方法PSNR提升超过1dB，证明其重建质量更优。
• Kruskal DGDN模型优于标准DGDN及其他深度模型，在MNIST上实现0.35%的错误率，与使用单一2层模型的35-CNN委员会性能相当。
• 深度CKFA模型随深度增加提取更具判别性的特征，3层模型在每类仅30张图像时于Caltech101上达到69.9%准确率。
• 模型对小规模训练集表现出鲁棒性，Kruskal DGDN在MNIST上不同训练规模下始终优于DGDN与先前的随机池化方法。
• 结果证实，秩过完备性在增强稀疏性与模型鲁棒性方面起关键作用，秩、稀疏性与过完备性之间的相互作用仍需进一步研究。