[论文解读] On Linear Identifiability of Learned Representations

Geoffrey Roeder, Luke Metz+1 more|arXiv (Cornell University)|Jul 1, 2020

Neural Networks and Applications参考文献 32被引用 16

一句话总结

本文证明，一类广泛存在的判别式表征学习模型——包括 BERT、GPT-2、GPT-3 和 CPC 等最先进架构——在函数空间中可识别，且识别结果至多相差一个线性变换。作者证明，在温和条件下，不同训练运行会收敛到通过线性变换等价的表征，从而在数据量和模型容量充足时实现可复现且稳定的表征。

ABSTRACT

Identifiability is a desirable property of a statistical model: it implies that the true model parameters may be estimated to any desired precision, given sufficient computational resources and data. We study identifiability in the context of representation learning: discovering nonlinear data representations that are optimal with respect to some downstream task. When parameterized as deep neural networks, such representation functions typically lack identifiability in parameter space, because they are overparameterized by design. In this paper, building on recent advances in nonlinear ICA, we aim to rehabilitate identifiability by showing that a large family of discriminative models are in fact identifiable in function space, up to a linear indeterminacy. Many models for representation learning in a wide variety of domains have been identifiable in this sense, including text, images and audio, state-of-the-art at time of publication. We derive sufficient conditions for linear identifiability and provide empirical support for the result on both simulated and real-world data.

研究动机与目标

• 在参数空间过度参数化的情况下，建立深度表征学习模型在函数空间中可识别的理论条件。
• 弥合近期非线性 ICA 可识别性结果与实际用于表征学习的判别式模型之间的差距。
• 证明自然语言处理、视觉和语音领域中的最先进模型在函数空间中至多通过线性变换等价于可识别表征。
• 提供实证证据表明，随着数据量、模型容量和优化进展的提升，表征会收敛到线性等价形式。
• 倡导可识别模型作为实现可复现、高效且伦理透明的表征学习的路径。

提出的方法

• 本文定义了一个由深度神经网络参数化的通用判别式模型族，其中表征函数 fθ 将输入 x 映射到潜在表征，且模型在给定 x 和一组可能的 y 值 S 的条件下被训练以预测 y。
• 提出一种通用的数学形式，涵盖监督学习、自监督学习和对比学习框架，从而实现统一的理论分析。
• 推导出线性可识别性的充分条件，表明在温和的正则性和多样性条件下，来自同一数据分布的不同表征在无限数据极限下通过线性变换相互关联。
• 证明依赖于对表征函数结构及其与预测目标相互作用的分析，利用非线性 ICA 和函数空间分析的工具。
• 在合成数据和真实世界数据（如 LM1B、图像、音频）上进行实证验证，测量独立训练运行所得表征之间的线性对齐程度。
• 该方法包括在相同数据上使用不同随机种子训练多个相同模型实例，并通过线性探测和对齐度量评估其学习表征之间的线性等价程度。

实验结果

研究问题

• RQ1 尽管在参数空间中存在过度参数化，深度表征学习模型是否能在函数空间中实现可识别性？
• RQ2 何种条件可确保从同一数据分布学习到的不同表征至多通过线性变换等价？
• RQ3 像 BERT、GPT-2、GPT-3 和 CPC 这类最先进模型是否满足这些可识别性条件？
• RQ4 随着数据量、模型容量和优化进展的提升，表征收敛到线性等价形式的程度如何变化？
• RQ5 线性可识别性在可复现性和表征偏差方面具有何种实际与伦理影响？

主要发现

• 本文证明，在温和条件下，包括当前最先进的自然语言处理与视觉系统所使用的模型在内，一类广泛存在的判别式模型在函数空间中至多通过线性变换可识别。
• 实证结果表明，来自同一数据分布的独立训练运行所学习到的表征，随着数据集规模和模型容量的增大，其线性对齐程度不断提高。
• 结果表明 BERT、GPT-2、GPT-3 和 CPC 均属于可识别模型族，支持其理论可识别性。
• 表征之间的线性对齐程度随着数据量增加和优化改善而提升，表明其在函数空间中收敛至稳定且唯一的解。
• 结果表明，可识别模型仅需一次训练运行即可达到最优且可复现的表征，从而减少计算浪费和资源消耗。
• 本工作也揭示了一项风险：若训练数据或目标存在偏差，可识别模型可能固定住有偏表征，凸显了对模型卡片和偏差审计的伦理需求。