[论文解读] On the interplay between data structure and loss function in classification problems

Stéphane d’Ascoli, Marylou Gabrié+2 more|arXiv (Cornell University)|Mar 9, 2021

Machine Learning and Data Classification参考文献 50被引用 7

一句话总结

本文研究了数据结构与损失函数如何共同影响过参数化分类模型的泛化性能。通过采用具有块结构的数据模型的统计物理方法，推导出各类凸损失函数下训练误差和测试误差的精确渐近表达式，结果表明：在简单任务中，逻辑斯蒂损失优于均方误差损失，因其与低维数据结构的对齐性更强。

ABSTRACT

One of the central puzzles in modern machine learning is the ability of heavily overparametrized models to generalize well. Although the low-dimensional structure of typical datasets is key to this behavior, most theoretical studies of overparametrization focus on isotropic inputs. In this work, we instead consider an analytically tractable model of structured data, where the input covariance is built from independent blocks allowing us to tune the saliency of low-dimensional structures and their alignment with respect to the target function. Using methods from statistical physics, we derive a precise asymptotic expression for the train and test error achieved by random feature models trained to classify such data, which is valid for any convex loss function. We study in detail how the data structure affects the double descent curve, and show that in the over-parametrized regime, its impact is greater for logistic loss than for mean-squared loss: the easier the task, the wider the gap in performance at the advantage of the logistic loss. Our insights are confirmed by numerical experiments on MNIST and CIFAR10.

研究动机与目标

• 为了理解为何在高容量下仍能良好泛化的过度参数化模型，特别是在存在结构化数据时。
• 为了分离数据结构（例如低维子空间）与损失函数选择（例如逻辑斯蒂损失与均方误差损失）对泛化误差的影响。
• 为了提供一个分析上可处理的模型，能够同时捕捉输入结构与标签函数对齐，从而实现精确的渐近分析。
• 通过在MNIST和CIFAR10上的受控实验验证理论预测，将抽象理论与真实世界数据集联系起来。

提出的方法

• 采用两层结构的随机特征模型，仅训练第二层，以实现模型容量与输入维度的解耦。
• 引入具有不同方差和与目标函数对齐性的独立子空间的块结构数据模型，从而控制数据显著性与结构。
• 应用统计物理中的副本方法，在高维极限下推导出泛化误差与训练误差的精确渐近表达式。
• 推导出控制损失与误差的序参量（如Q、M、V）的鞍点方程，适用于任意凸损失函数。
• 针对特定损失函数（逻辑斯蒂损失、平方损失）数值求解所得方程，并与有限尺寸模拟结果进行比较。
• 通过在MNIST和CIFAR10上的受控实验验证结果，使用具有可调结构的数据测试理论预测。

实验结果

研究问题

• RQ1 低维数据子空间与目标函数之间的对齐性如何影响过度参数化模型的泛化性能？
• RQ2 损失函数选择（逻辑斯蒂损失与均方误差损失）如何影响结构化数据设置下的双下降曲线与测试误差？
• RQ3 在过度参数化设置下，数据结构在多大程度上放大或抑制不同损失函数之间的性能差异？
• RQ4 来自统计物理的分析预测能否准确描述真实世界数据集（如MNIST和CIFAR10）中的泛化误差？

主要发现

• 双下降曲线显著受数据结构影响，且在逻辑斯蒂损失下观察到的影响比均方误差损失更强。
• 对于简单任务（显著数据子空间与目标函数对齐良好），逻辑斯蒂损失相比均方误差损失展现出更宽的泛化间隙。
• 该分析框架能准确预测在多种数据结构与损失函数组合下的测试误差与训练误差，且经有限尺寸模拟验证。
• 在MNIST和CIFAR10上，模型在逻辑斯蒂损失与均方误差损失之间的性能差距与数据的内在低维结构相关，证实了理论预测。
• 副本方法得出了即使在有限尺寸设置下依然有效的误差精确渐近表达式，展示了该分析方法的稳健性。