[论文解读] Reasoning About Generalization via Conditional Mutual Information

Thomas Steinke, Lydia Zakynthinou|arXiv (Cornell University)|Jan 24, 2020

Stochastic Gradient Optimization Techniques参考文献 74被引用 17

一句话总结

本文提出了一种统一的信息论框架，用于使用条件互信息（CMI）分析机器学习泛化问题，表明在多种设置下（如VC维、差分隐私和压缩方案）CMI有界时，可推导出泛化性。其主要贡献在于形式化建立了CMI与泛化误差之间的联系，从而在多种学习范式中实现更紧密、更具适应性的泛化界。

ABSTRACT

We provide an information-theoretic framework for studying the generalization properties of machine learning algorithms. Our framework ties together existing approaches, including uniform convergence bounds and recent methods for adaptive data analysis. Specifically, we use Conditional Mutual Information (CMI) to quantify how well the input (i.e., the training data) can be recognized given the output (i.e., the trained model) of the learning algorithm. We show that bounds on CMI can be obtained from VC dimension, compression schemes, differential privacy, and other methods. We then show that bounded CMI implies various forms of generalization.

研究动机与目标

• 将机器学习中不同的泛化方法——如一致收敛、差分隐私和压缩——统一到单一的信息论框架下。
• 形式化描述模型输出与训练数据之间的条件互信息（CMI）如何量化泛化性能。
• 证明有界的CMI意味着泛化，无论底层算法机制如何。
• 提供一种系统化方法，从已知的泛化技术（如VC维和稳定性概念）推导CMI界。
• 将该框架扩展至自适应数据分析和非线性损失函数，以增强其实际适用性。

提出的方法

• 定义在数据分布D下，训练数据Z与模型A(Z)之间的条件互信息（CMI），以衡量模型对训练数据的泄露程度。
• 将CMI用作泛化误差的代理指标，证明有界CMI意味着经验风险与真实风险之间的期望差异较小。
• 从已知的泛化机制推导CMI界：VC维、差分隐私、压缩方案和一致稳定性。
• 引入评估CMI（eCMI）作为有限样本设置下CMI的实际代理，实现其经验估计。
• 应用浓度不等式和KL散度来界定CMI，并将其与平方误差和合页损失等损失函数关联。
• 建立一致稳定性与eCMI之间的联系，表明稳定算法在连续数据分布下会产生低eCMI。

实验结果

研究问题

• RQ1 条件互信息（CMI）能否作为不同学习算法泛化性的统一度量？
• RQ2 如何利用VC维、差分隐私和压缩等现有泛化技术来界定CMI？
• RQ3 在线性和非线性损失设置下，有界的CMI是否均能保证泛化？
• RQ4 该框架能否扩展至自适应数据分析和非独立同分布（non-i.i.d.）数据设置？
• RQ5 评估CMI（eCMI）与一致稳定性有何关系？能否获得更紧的泛化界？

主要发现

• 训练数据与模型输出之间的CMI有界，意味着泛化成立，且泛化误差的上界为CMI值的函数。
• 可从VC维推导CMI界，表明低复杂度假设类会产生低CMI，从而实现良好泛化。
• 差分隐私意味着CMI有界，通过信息论度量将隐私与泛化联系起来。
• 压缩方案同样产生有界的CMI，表明模型简洁性可转化为信息论鲁棒性。
• 对于一致稳定算法，评估CMI（eCMI）的界为O(γ²n²/σ²)（在高斯噪声下），对应的泛化误差界为O(γ + 1/n)。
• 该框架可扩展至非线性损失，包括平方误差和合页损失，并为这些情形显式推导出界。