[论文解读] Symmetry Group Equivariant Architectures for Physics

Alexander Bogatskiy, S. Ganguly+9 more|arXiv (Cornell University)|Mar 11, 2022

Machine Learning in Materials Science被引用 4

一句话总结

本文主张开发明确设计为物理对称群（如旋转、平移和规范对称性）协变的机器学习架构，以提升物理应用中模型的性能、数据效率和可解释性。通过将这些对称性直接嵌入神经网络设计，该方法相比标准的非协变架构，能够实现更高效的数据利用、更少的参数量以及更强的物理可解释性。

ABSTRACT

Physical theories grounded in mathematical symmetries are an essential component of our understanding of a wide range of properties of the universe. Similarly, in the domain of machine learning, an awareness of symmetries such as rotation or permutation invariance has driven impressive performance breakthroughs in computer vision, natural language processing, and other important applications. In this report, we argue that both the physics community and the broader machine learning community have much to understand and potentially to gain from a deeper investment in research concerning symmetry group equivariant machine learning architectures. For some applications, the introduction of symmetries into the fundamental structural design can yield models that are more economical (i.e. contain fewer, but more expressive, learned parameters), interpretable (i.e. more explainable or directly mappable to physical quantities), and/or trainable (i.e. more efficient in both data and computational requirements). We discuss various figures of merit for evaluating these models as well as some potential benefits and limitations of these methods for a variety of physics applications. Research and investment into these approaches will lay the foundation for future architectures that are potentially more robust under new computational paradigms and will provide a richer description of the physical systems to which they are applied.

研究动机与目标

• 为解决尽管在理论物理中具有基础性作用，物理对称性在机器学习模型中仍被严重低估使用的问题。
• 证明将对称群协变性融入机器学习架构可显著提升物理任务中的性能、数据效率和可解释性。
• 倡导为开发和优化对称性感知的机器学习模型在物理学中的应用提供专项资助和研究投入。
• 通过推广共享工具和框架，弥合物理学与机器学习社区之间的鸿沟，推动对称协变学习的发展。
• 为未来具备鲁棒性、可扩展性且具有物理意义的机器学习架构奠定基础，使其兼容新兴的百亿亿次计算和复杂物理系统。

提出的方法

• 通过构造方式设计在特定物理对称群（如欧几里得、洛伦兹或规范对称性）下协变的神经网络架构。
• 利用群表示理论定义在对称群作用下可预测变换的激活函数和层操作。
• 采用协变构建模块（如可导向CNN、协变图网络和张量场网络），在各层间保持对称性结构。
• 利用可重用的、与对称性相关的组件，减少架构冗余并提升训练效率。
• 将符号群计算（如通过SymPy）与数值实现相结合，以支持在不同对称家族间的泛化。
• 探索软协变性和低阶群近似方法，以在保持性能优势的同时降低计算成本。

实验结果

研究问题

• RQ1 如何通过引入对称群协变性来提升机器学习模型在物理应用中的样本效率和泛化能力？
• RQ2 在具有复杂对称群的物理系统中，强制实现精确协变性与近似协变性之间的计算与架构权衡为何？
• RQ3 现有机器学习框架如何被改造以支持在多样化物理领域中开发和部署对称协变模型？
• RQ4 在科学机器学习中，比较协变与非协变模型时，最合适的度量标准和评估协议是什么？
• RQ5 为实现对称协变架构在物理学研究中的广泛应用，需要哪些基础设施和工具链投资？

主要发现

• 在神经网络设计中整合旋转、平移和排列不变性等对称性，可使模型参数更少、更具表达力，并提升泛化能力。
• 协变模型表现出更高的数据效率，可在显著减少的训练数据集和模型参数下实现优异性能。
• 采用对称性感知的架构可增强可解释性，使模型组件可直接映射到物理可观测量和守恒量。
• 协变构建模块在不同物理问题和对称群之间具有高度可重用性，减少了冗余架构开发的需求。
• 尽管具有诸多优势，强制施加对称性可能带来计算成本，尤其是在低维对称群或对称性约束使优化轨迹复杂化的情况下。
• 由于符号群计算的挑战以及缺乏适用于非欧几里得或非正定空间（如时空）的优化算法，通用对称协变机器学习工具包仍难以实现。