[论文解读] Rational approximation and its application to improving deep learning classifiers

Vinesha Peiris, Nir Sharon+1 more|arXiv (Cornell University)|Feb 26, 2020

Sparse and Compressive Sensing Techniques参考文献 35被引用 8

一句话总结

该论文提出了一种基于拟凸优化的有理函数逼近方法，通过用有理函数参数替换原始信号来提升深度学习分类器的性能。该方法利用有理函数对非光滑和非-Lipschitz信号建模的灵活性，显著优于多项式或样条函数，使分类准确率最高达到95%，远超直接使用原始数据输入的表现。

ABSTRACT

A rational approximation by a ratio of polynomial functions is a flexible alternative to polynomial approximation. In particular, rational functions exhibit accurate estimations to nonsmooth and non- Lipschitz functions, where polynomial approximations are not efficient. We prove that the optimisation problems appearing in the best uniform rational approximation are quasiconvex, and show how to use this fact for calculating the best approximation in a fast and efficient method. The paper presents a theoretical study of the arising optimisation problems and provides results of several numerical experiments. In all our computations, the algorithms terminated at optimal solutions. We apply our approximation as a preprocess step to deep learning classifiers and demonstrate that the classification accuracy is significantly improved compared to the classification of the raw signals.

研究动机与目标

• 开发一种高效且精确的方法，用于在切比雪夫范数下使用有理函数逼近非光滑和非-Lipschitz函数。
• 解决多项式和自由节点样条逼近方法的局限性，这些方法在处理不规则函数时易产生振荡和数值不稳定性。
• 通过使用有理函数逼近参数预处理原始信号，而非直接使用原始数据，来提升深度学习分类性能。
• 证明拟凸优化能够实现有理逼近问题的全局收敛和高精度解。
• 通过使用有理函数作为复杂信号表示的更优替代方案，拓展先前关于分段多项式逼近的研究。

提出的方法

• 将有理逼近问题表述为切比雪夫（一致）范数下的拟凸优化问题，确保全局收敛。
• 使用固定首项系数（设为1）的多项式之比，以减少参数空间并避免平凡解。
• 应用一种利用拟凸结构的数值算法，高效计算最佳一致有理逼近。
• 在输入深度神经网络前，将原始输入信号转换为少量有理逼近参数（例如5或6个特征）。
• 在逼近特征上训练深度学习模型（使用ReLU或恒等/双曲正切激活函数），而非直接使用原始数据，以提升分类性能。
• 通过在不同网络架构（单隐藏层和双隐藏层）及神经元数量下评估性能，以检验方法的鲁棒性和可扩展性。

实验结果

研究问题

• RQ1 拟凸优化能否有效应用于有理逼近问题，以确保全局收敛和高精度？
• RQ2 与基于多项式或样条的预处理方法相比，有理逼近在提升非光滑信号上深度学习分类器准确率方面表现如何？
• RQ3 在不损失判别能力的前提下，有理函数参数的最小数量（例如5–6个）能在多大程度上替代高维原始信号？
• RQ4 与原始数据或分段多项式逼近相比，使用有理函数是否能显著提升生物医学信号上的分类准确率？
• RQ5 所提出的方法是否能在保持计算效率的同时，实现高于现有预处理技术的准确率？

主要发现

• 所提出的有理逼近方法在深度学习模型上实现了最高95%的分类准确率，显著优于基线原始数据方法（仅达到65%准确率）。
• 在单隐藏层设置下，模型M1（5个特征）仅用2个神经元即达到90%准确率，而模型M2（6个特征）在8个神经元下达到85%准确率，均超过65%的基线水平。
• 在双隐藏层设置下，模型M1在8个神经元下达到90%准确率，模型M2在9或10个神经元下达到85%准确率，持续优于原始数据的65%准确率。
• 使用恒等激活函数（非默认设置）进一步将单层模型的准确率提升至95%，表明当特征构建良好时，非线性并非总是必要。
• 模型M1（仅使用5个参数）在准确率和计算效率方面均持续优于模型M2（6个参数），支持更简单模型的优势。
• 所有数值实验均收敛至满足必要和充分最优性条件的最优解，证实了拟凸优化框架的稳健性。