[论文解读] Operationally meaningful representations of physical systems in neural networks

Hendrik Poulsen Nautrup, Tony Metger+6 more|arXiv (Cornell University)|Jan 2, 2020

Statistical Mechanics and Entropy被引用 6

一句话总结

本文提出一种神经网络架构，通过建模能够高效交流实验数据的智能体，学习物理系统在操作意义上的有意义表征。通过强制智能体仅共享相关参数，该方法将物理上不同的特征（如局部参数与量子关联）解耦，从而得到紧凑且可解释的表征，这些表征反映了实际实验的相关性，在经典系统与量子系统（包括两比特态）中均得到验证。

ABSTRACT

To make progress in science, we often build abstract representations of physical systems that meaningfully encode information about the systems. The representations learnt by most current machine learning techniques reflect statistical structure present in the training data; however, these methods do not allow us to specify explicit and operationally meaningful requirements on the representation. Here, we present a neural network architecture based on the notion that agents dealing with different aspects of a physical system should be able to communicate relevant information as efficiently as possible to one another. This produces representations that separate different parameters which are useful for making statements about the physical system in different experimental settings. We present examples involving both classical and quantum physics. For instance, our architecture finds a compact representation of an arbitrary two-qubit system that separates local parameters from parameters describing quantum correlations. We further show that this method can be combined with reinforcement learning to enable representation learning within interactive scenarios where agents need to explore experimental settings to identify relevant variables.

研究动机与目标

• 开发一种表征学习方法，生成具有物理可解释性、操作上有意义的参数，而非统计伪影。
• 解决标准表征学习的局限性，即隐式地从数据分布中学习结构，而缺乏对参数语义的显式控制。
• 使科学发现中的智能体仅传递相关信息，从而实现更高效、更有意义的参数化。
• 将表征学习与强化学习相结合，用于交互式、探索性的科学场景，使智能体通过实验识别相关变量。

提出的方法

• 该框架建模多个智能体与物理系统的不同方面交互，每个智能体仅需部分参数即可回答其问题。
• 假设智能体能够高效压缩并通信参数，从而在表征上施加结构约束。
• 使用深度能量基投影模拟（DPS）模型进行训练，损失函数最小化当前与目标 h-值之间的差异。
• 目标 h-值通过折扣未来奖励计算，包含遗忘参数以实现正则化。
• 策略通过 h-值上的 softmax 函数推导，实现探索与利用之间的权衡。
• 该架构与强化学习结合，智能体通过探索实验设置并根据反馈学习表征。

实验结果

研究问题

• RQ1 神经网络如何学习物理系统表征，使其具有操作意义而非统计偏差？
• RQ2 处理不同实验方面的智能体之间实现高效通信，能否导致解耦的、具有物理可解释性的表征？
• RQ3 该方法在多大程度上能够识别并分离量子系统中的局部参数与非局域量子关联？
• RQ4 如何在交互式科学探索场景中将表征学习与强化学习相结合？
• RQ5 该框架是否能在复杂系统（如两比特态）中仍生成紧凑且可解释的表征？

主要发现

• 该方法成功学习到任意两比特态的紧凑表征，明确分离了局部参数与描述量子关联的参数。
• 在经典带电质点问题中，网络学习到击中目标孔洞所需的反函数 ϕ(v₀)，在随机采样的输入上达到高精度。
• 该表征基于操作相关性而非数据统计，将物理上不同的特征（如初速度与角度）成功解耦。
• 该框架使强化学习智能体能够探索实验设置，并通过交互识别相关变量，表征随之适应操作需求。
• DPS 模型实现策略与解码头的联合训练，使用相同数据，提升了样本效率与表征学习的一致性。
• 该方法生成可解释、操作上有意义的表征，真实反映实验能力，减少对隐式数据偏差的依赖。