[论文解读] Real numbers, data science and chaos: How to fit any dataset with a single parameter

Laurent Boué|arXiv (Cornell University)|Apr 28, 2019

Time Series Analysis and Forecasting参考文献 6被引用 6

一句话总结

本文展示了，无论模态如何（时间序列、图像、音频等），任何数据集都可以通过一个单参数、可微函数 $ f_\alpha(x) = \sin^2(2^{x\tau} \arcsin \sqrt{\alpha}) $ 实现完美拟合，利用混沌动力学将所有数据编码到一个实数参数 $ \alpha $ 中。其核心贡献是一个理论与实践相结合的框架，表明实数作为无限精度对象，仅用一个参数即可以任意精度编码任意数据集。

ABSTRACT

We show how any dataset of any modality (time-series, images, sound...) can be approximated by a well-behaved (continuous, differentiable...) scalar function with a single real-valued parameter. Building upon elementary concepts from chaos theory, we adopt a pedagogical approach demonstrating how to adjust this parameter in order to achieve arbitrary precision fit to all samples of the data. Targeting an audience of data scientists with a taste for the curious and unusual, the results presented here expand on previous similar observations regarding expressiveness power and generalization of machine learning models.

研究动机与目标

• 证明无论模态如何，任何数据集都可以由一个具有单一实数参数的可微函数精确表示。
• 探讨该结果对模型表达能力、泛化能力以及参数计数启发式方法在机器学习中局限性的影响。
• 阐明实数作为非终止实体，本质上包含无限信息，因此此类模型中泛化不可能实现。
• 提供一种教学框架，用于构建此类函数，并通过调节 $ \alpha $ 实现任意精度的拟合。
• 通过展示单个参数即可编码任意数据集，挑战机器学习领域关于模型容量与泛化的传统观念。

提出的方法

• 所提出的方法使用函数 $ f_\alpha(x) = \sin^2(2^{x\tau} \arcsin \sqrt{\alpha}) $，其中 $ \alpha \in \mathbb{R} $ 为唯一可学习参数，$ \tau \in \mathbb{N} $ 控制精度。
• 该函数源自二进制变换与混沌动力学，确保对初始条件的敏感依赖，从而实现高度表达性。
• 通过将数据集转换为长度为 $ n\tau $ 的二进制字符串，再利用任意精度算术将该字符串映射为实数，实现数据到 $ \alpha $ 的编码。
• 该方法使用 mpmath 库进行任意精度算术运算，以在二进制与十进制表示之间转换时保持精度。
• 在整数点 $ x \in [0, n] $ 上评估该函数，当 $ \alpha $ 选择正确时，生成的序列将与目标数据集完全匹配。
• 该方法将数据集视为数值列表 $ \mathcal{X} = [x_0, \dots, x_n] $，无论其模态如何，均映射为 $ y = f_\alpha(x) $。

实验结果

研究问题

• RQ1 是否存在一个单参数、连续、可微函数，能够表示跨多种模态的任意数据集？
• RQ2 实数的无限信息含量在多大程度上破坏了机器学习模型中泛化的概念？
• RQ3 该构造在多大程度上挑战了传统的模型容量度量方式，如参数计数、VC维或Rademacher复杂度？
• RQ4 混沌理论与二进制变换在实现极低参数量下的高度表达性中起到何种作用？
• RQ5 该方法能否仅用一个实数参数生成复杂信号，如音频、图像或文本？

主要发现

• 当 $ \alpha $ 选择得当时，函数 $ f_\alpha(x) = \sin^2(2^{x\tau} \arcsin \sqrt{\alpha}) $ 可以精确重现任意包含 $ n $ 个数值的数据集。
• 该方法成功生成了复杂输出，如动物形状、音频信号（例如“Hello world”语音）以及类似CIFAR-10的图像，仅使用一个实数参数。
• 通过将整个数据集编码到初始条件 $ \alpha $ 中（该参数由长度为 $ n\tau $ 的二进制字符串导出），模型可实现任意精度拟合。
• 当 $ \alpha $ 以有限精度表示时（例如 $ \tau = 8 $），预测结果在有效数字之外发生发散，证实该模型缺乏泛化能力。
• 结果表明，参数计数是衡量模型容量的不良代理指标，因为单个实数参数即可编码任意有限数据集。
• 本研究强调了最小描述长度等复杂度界的重要性，这些界在拟合质量与表达能力之间进行权衡，而非依赖于简单的参数计数。