[论文解读] Real-valued continued fraction of straight lines

Vijay Prakash S|arXiv (Cornell University)|Dec 16, 2024

Meromorphic and Entire Functions被引用 4

一句话总结

本文通过嵌入非线性边界项，提出了一种直线的实值连分数表示法，将无界的线性模型转化为有界的非线性曲线。该方法使用可通过连分数展开求解的参数化三次方程，实现了在图像分类任务中更快、更稳定且更精确的回归——在Fashion-MNIST数据集上的实验表明，相比线性模型，其方差更小且收敛过程单调。

ABSTRACT

In an unbounded plane, straight lines are used extensively for mathematical analysis. They are tools of convenience. However, those with high slope values become unbounded at a faster rate than the independent variable. So, straight lines, in this work, are made to be bounded by introducing a parametric nonlinear term that is positive. The straight lines are transformed into bounded nonlinear curves that become unbounded at a much slower rate than the independent variable. This transforming equation can be expressed as a continued fraction of straight lines. The continued fraction is real-valued and converges to the solutions of the transforming equation. Following Euler's method, the continued fraction has been reduced into an infinite series. The usefulness of the bounding nature of continued fraction is demonstrated by solving the problem of image classification. Parameters estimated on the Fashion-MNIST dataset of greyscale images using continued fraction of regression lines have less variance, converge quickly and are more accurate than the linear counterpart. Moreover, this multi-dimensional parametric estimation problem can be expressed on $xy-$ plane using the parameters of the continued fraction and patterns emerge on planar plots.

研究动机与目标

• 为解决高斜率线性模型在回归中无界增长的问题，引入一种非线性边界机制。
• 将所得的非线性方程重新表述为收敛于真实解的实值连分数。
• 证明该方法在机器学习任务中参数估计方面的优越性，特别是在降低方差和提升收敛速度方面。
• 使多维参数估计可通过参数 $a$ 和 $m$ 在二维平面上可视化。
• 建立一个有界的非线性坐标系，使得直线成为渐近极限。

提出的方法

• 推导出核心方程 $ y = \frac{mx}{1 + a y^2} $，以约束 $ y $ 值，确保对所有 $ x $ 值均有界。
• 将方程重写为连分数形式：$ y = \frac{mx}{1 + a \frac{m^2 x^2}{(1 + a (\cdots)^2)^2}} $，该形式为实值且收敛。
• 应用欧拉法将连分数简化为无穷级数，以支持分析与数值计算。
• 将解分解为两部分：$ i = -\frac{1}{3} t^{1/3} $ 和 $ ii = \frac{1}{a} t^{-1/3} $，二者在变换后的平面上构成正交轴。
• 图像分类的参数估计采用迭代优化，以 $ a $ 和 $ m $ 为主要变量，其中 $ a $ 的收敛即保证所有其他参数的收敛。
• 最终模型参数通过 $ xy $-平面和 $ (i,ii) $-平面图进行可视化，以揭示类别模式及对初始条件的敏感性。

Figure 1 : $y$ for different $a$ and $m$ values. As $a\rightarrow\infty$ we approach the $x-$ axis.

实验结果

研究问题

• RQ1 对线性模型进行非线性变换是否能产生有界、稳定且收敛的回归曲线？
• RQ2 将变换后的模型表示为实值连分数，是否能提升机器学习任务中的收敛速度与参数稳定性？
• RQ3 能否通过参数 $ a $ 和 $ m $ 在二维平面上有效可视化回归中的多维参数估计？
• RQ4 参数 $ a $ 和 $ m $ 如何影响所得非线性曲线的形状与有界性？
• RQ5 与线性回归相比，连分数表示对图像分类任务中方差与准确率的影响如何？

主要发现

• 使用连分数方法估计的回归参数在Fashion-MNIST数据集上表现出显著低于线性回归方法的方差。
• 该方法实现了更快且更稳定的收敛，大多数参数在50次迭代内单调收敛。
• 对于第一类，$ a^{(50)} = 0.03415 $ 且 $ m^{(50)} = 3.28946 $；对于第二类，$ a^{(50)} = 0.00873 $ 且 $ m^{(50)} = 0.55568 $，表明收敛稳定。
• $ (i,ii) $-平面表示揭示了不同类别间明显的模式差异，且在 $ i $-$ ii $ 图中可观测到对初始条件的敏感性。
• 每类的 $ a $ 和 $ m $ 最终值均唯一，支持有效分类并可可视化模型行为。
• 连分数表示支持自适应步长和有界的参数更新，从而提升了模型稳定性。

(a) $a\in[1e-1,1]$ and $m\in$ interval [-200,200].