[论文解读] Towards fully covariant machine learning

Soledad Villar, David W. Hogg+3 more|arXiv (Cornell University)|Jan 31, 2023

Computational Physics and Python Applications被引用 9

一句话总结

本文提出被动（协方差）与主动对称性，主张机器学习模型应尊重由数据表示所产生的被动对称性，并讨论其对泛化、因果性和模型设计的影响。

ABSTRACT

Any representation of data involves arbitrary investigator choices. Because those choices are external to the data-generating process, each choice leads to an exact symmetry, corresponding to the group of transformations that takes one possible representation to another. These are the passive symmetries; they include coordinate freedom, gauge symmetry, and units covariance, all of which have led to important results in physics. In machine learning, the most visible passive symmetry is the relabeling or permutation symmetry of graphs. Our goal is to understand the implications for machine learning of the many passive symmetries in play. We discuss dos and don'ts for machine learning practice if passive symmetries are to be respected. We discuss links to causal modeling, and argue that the implementation of passive symmetries is particularly valuable when the goal of the learning problem is to generalize out of sample. This paper is conceptual: It translates among the languages of physics, mathematics, and machine-learning. We believe that consideration and implementation of passive symmetries might help machine learning in the same ways that it transformed physics in the twentieth century.

研究动机与目标

• 在 ML 和物理学语境中定义被动对称性与主动对称性。
• 解释被动对称性如何源自数据表示选择（坐标、单位等）。
• 提供概念性指导和示例，展示强制被动对称性如何改善学习与泛化。
• 讨论被动对称性与因果建模之间的联系。
• 就如何构建尊重被动对称性的 ML 模型提供实用指南。

提出的方法

• 使用群作用和交换图对被动对称性与主动对称性给出形式化定义。
• 将单位协变性作为普遍的被动对称性，并给出尺寸分析论证。
• 用玩具示例说明在回归问题中强制被动对称性的好处。
• 在被动对称性与因果性的概念联系，以及对模型设计和归一化的影响。
• 帮助跨学科理解的术语表，将物理学和 ML 术语翻译对照。

实验结果

研究问题

• RQ1 什么是被动对称性和主动对称性，它们与 ML 表示和数据分析有何关系？
• RQ2 强制被动对称性（协方差）如何影响学习结果和样本外泛化？
• RQ3 在 ML 模型中实现被动对称性时的实际挑战有哪些？何时可以将其从主动对称性转化？
• RQ4 被动对称性如何与因果建模和干预概念相关联？
• RQ5 在数据归一化和模型架构方面应给出哪些指引以尊重被动对称性？

主要发现

• 被动对称性来自表示选择（坐标、单位、规范、重新参数化），并且按定义是严格的。
• 强制被动对称性可以揭示潜在的尺度定律和问题中的缺失要素。
• 单位协变性可以改善样本外泛化，并引导发现具有量纲的常数（如黑体辐射玩具示例中的普朗克常数）。
• 许多 ML 实践并未尊重被动对称性，这可能导致系统性错误；尊重它们表明在正则化、架构和归一化方面需要改变。
• 被动对称性与因果推断之间存在有意义的联系，包括对因果图的一致性约束以及用于识别必要输入的干预作用。