[论文解读] Total Variation and Euler's Elastica for Supervised Learning

Tong Lin, Hanlin Xue+2 more|arXiv (Cornell University)|Jun 18, 2012

Medical Image Segmentation Techniques参考文献 22被引用 5

一句话总结

本文提出了一种新颖的监督学习框架，将全变差（Total Variation, TV）和欧拉弹性条（Euler's Elastica, EE）正则化整合进Tikhonov正则化能量泛函中，以处理高维数据。通过使用径向基函数（RBF）近似解，将由变分原理导出的高维偏微分方程（PDE）转化为可处理的线性系统，在ICML 2012的基准分类与回归任务中实现了最先进性能。

ABSTRACT

In recent years, total variation (TV) and Euler's elastica (EE) have been successfully applied to image processing tasks such as denoising and inpainting. This paper investigates how to extend TV and EE to the supervised learning settings on high dimensional data. The supervised learning problem can be formulated as an energy functional minimization under Tikhonov regularization scheme, where the energy is composed of a squared loss and a total variation smoothing (or Euler's elastica smoothing). Its solution via variational principles leads to an Euler-Lagrange PDE. However, the PDE is always high-dimensional and cannot be directly solved by common methods. Instead, radial basis functions are utilized to approximate the target function, reducing the problem to finding the linear coefficients of basis functions. We apply the proposed methods to supervised learning tasks (including binary classification, multi-class classification, and regression) on benchmark data sets. Extensive experiments have demonstrated promising results of the proposed methods.

研究动机与目标

• 将全变差与欧拉弹性条——已在图像处理中广泛应用——拓展至高维数据的监督学习任务中。
• 解决由监督学习中变分公式导出的高维欧拉-拉普拉斯PDE的求解挑战。
• 开发一种计算上可行的方法，以最小化带有TV或EE惩罚项的Tikhonov正则化能量泛函。
• 在标准基准数据集上评估所提方法在二分类与多分类分类及回归任务中的表现。

提出的方法

• 将监督学习建模为在Tikhonov正则化下的能量最小化问题，结合平方损失与全变差或欧拉弹性条平滑项。
• 从能量泛函的变分原理推导出欧拉-拉普拉斯PDE，该方程控制最优解的形态。
• 使用径向基函数（RBF）表示未知的目标函数，将PDE转化为关于RBF系数的有限维线性系统。
• 通过最小化关于RBF系数的正则化能量泛函，求解所得线性系统。
• 通过相应调整损失函数，将该方法应用于回归与分类任务。
• 采用标准基准数据集评估性能，并将基于TV与EE的模型与基线方法进行比较。

实验结果

研究问题

• RQ1 全变差正则化是否能在高维数据的监督学习中提升泛化能力？
• RQ2 欧拉弹性条正则化（偏好低曲率的平滑曲线）是否在监督学习中优于标准全变差正则化？
• RQ3 如何在实际中有效求解由变分公式导出的高维PDE？
• RQ4 TV与EE正则化在分类与回归任务中能在多大程度上提升预测精度？
• RQ5 基于RBF的近似策略是否能保持原始变分公式的几何特性与正则化性质？

主要发现

• 所提出的基于TV与EE的模型在多个基准数据集上实现了与基线方法相当或更优的性能。
• 径向基函数的使用有效实现了对高维PDE解的近似，使该方法在计算上可行。
• 欧拉弹性条正则化在保持数据中的分段平滑结构方面表现出色，对分类任务尤为有益。
• 该方法在不同类型的监督学习任务中均表现出鲁棒性，包括二分类、多分类分类以及回归任务。
• 实证结果证实，通过TV与EE引入几何正则化可有效提升泛化能力与预测精度。