[论文解读] Quantum Tensor Network in Machine Learning: An Application to Tiny Object Classification

Fanjie Kong, Xiao-Yang Liu+1 more|arXiv (Cornell University)|Jan 8, 2021

Computational Physics and Python Applications参考文献 13被引用 10

一句话总结

本文提出一种二维多尺度纠缠重正化近似（MERA）张量网络模型，用于解决图像中微小目标的分类问题，利用量子自旋模型理论，使纠缠熵的标度与目标-图像比相匹配。实验表明，MERA模型在64×64 NeedleMNIST上达到78.4%的准确率，在LIDC上达到76.0%，展示了张量网络作为低信噪比任务中卷积神经网络（CNNs）的可行替代方案。

ABSTRACT

Tiny object classification problem exists in many machine learning applications like medical imaging or remote sensing, where the object of interest usually occupies a small region of the whole image. It is challenging to design an efficient machine learning model with respect to tiny object of interest. Current neural network structures are unable to deal with tiny object efficiently because they are mainly developed for images featured by large scale objects. However, in quantum physics, there is a great theoretical foundation guiding us to analyze the target function for image classification regarding to specific objects size ratio. In our work, we apply Tensor Networks to solve this arising tough machine learning problem. First, we summarize the previous work that connects quantum spin model to image classification and bring the theory into the scenario of tiny object classification. Second, we propose using 2D multi-scale entanglement renormalization ansatz (MERA) to classify tiny objects in image. In the end, our experimental results indicate that tensor network models are effective for tiny object classification problem and potentially will beat state-of-the-art. Our codes will be available online https://github.com/timqqt/MERA_Image_Classification.

研究动机与目标

• 为解决在信噪比低的图像中对微小目标进行分类的挑战，传统CNN在该任务中表现不佳。
• 应用量子多体物理概念——特别是纠缠熵和MERA——来建模图像分类中函数的复杂性。
• 开发并训练一个端到端可微分的二维MERA张量网络，用于图像分类，以实现对空间层次结构的高效学习。
• 在具有极端目标-图像比的基准数据集上，将MERA模型与CNN及混合张量网络模型进行对比评估。

提出的方法

• 将图像分类形式化为一个量子自旋模型，其中目标函数对应于与图像函数空间同构的希尔伯特空间中的“黄金”量子态。
• 使用纠缠熵作为函数复杂性的理论度量，将其与目标-图像（O2I）比关联，指导模型设计。
• 采用二维多尺度纠缠重正化近似（MERA）作为分层张量网络，以高效表示图像中的多尺度空间相关性。
• 使用标准反向传播与自动微分（如TensorFlow）对MERA模型进行端到端训练，超参数经调优以实现收敛。
• 在神经网络基线模型（Tensor-NN）中引入张量网络层，以比较混合架构带来的性能提升。
• 使用一维表示的像素级输入张量，保留MERA架构中的空间结构。

实验结果

研究问题

• RQ1 受量子多体物理启发的张量网络能否有效建模微小目标分类任务的复杂性？
• RQ2 目标函数的纠缠熵如何随目标-图像比变化？这一关系能否用于设计更优模型？
• RQ3 在信噪比极低的数据集中，2D MERA张量网络是否能优于或匹配当前最先进的CNN？
• RQ4 学习率和权重初始化等超参数如何影响MERA模型的训练稳定性与收敛性？

主要发现

• 在64×64 NeedleMNIST数据集上，2D MERA模型达到78.4%的准确率，优于基线CNN（76.0%），展现出在微小目标任务中的强大潜力。
• 在LIDC数据集上，平均目标-图像比为1.32%，MERA模型达到76.0%的准确率，优于相同指标下的CNN基线（78.0%）。
• 混合的Tensor-NN模型（在CNN中集成张量网络层）在LIDC上达到86.0%的准确率，超过标准CNN（78.0%），表明张量网络可显著提升深度学习模型性能。
• 超参数调优表明，学习率为1e-5、权重标准差为0.0001是MERA收敛的关键因素，凸显其对初始化和优化的敏感性。
• 训练曲线显示，MERA训练对优化超参数高度敏感，不当选择会导致损失和准确率不稳定，提示张量网络优化存在挑战。
• 尽管在MNIST上性能低于CNN（78.4% vs. 98.3%），MERA模型在低信噪比数据集上仍展现出可行性与可扩展性，而CNN在此类任务中表现失败。