[论文解读] Private learning implies quantum stability

Srinivasan Arunachalam, Yihui Quek+1 more|arXiv (Cornell University)|Feb 14, 2021

Machine Learning and Algorithms参考文献 46被引用 7

一句话总结

本文建立了量子学习模型之间的基础信息论层级，证明了量子态的差分隐私PAC学习蕴含在线学习，而后者又蕴含一种新概念——量子稳定性。作者提出了鲁棒标准最优算法（RSOA），一种对对抗性不精确具有鲁棒性的量子在线学习算法，并表明有限的序列肥-破碎维数刻画了各类模型的可学习性，从而改进了阴影层析的样本复杂度边界，并与量子信道容量建立了联系。

ABSTRACT

Learning an unknown $n$-qubit quantum state $ρ$ is a fundamental challenge in quantum computing. Information-theoretically, it is known that tomography requires exponential in $n$ many copies of $ρ$ to estimate it up to trace distance. Motivated by computational learning theory, Aaronson et al. introduced many (weaker) learning models: the PAC model of learning states (Proceedings of Royal Society A'07), shadow tomography (STOC'18) for learning "shadows" of a state, a model that also requires learners to be differentially private (STOC'19) and the online model of learning states (NeurIPS'18). In these models it was shown that an unknown state can be learned "approximately" using linear-in-$n$ many copies of rho. But is there any relationship between these models? In this paper we prove a sequence of (information-theoretic) implications from differentially-private PAC learning, to communication complexity, to online learning and then to quantum stability. Our main result generalizes the recent work of Bun, Livni and Moran (Journal of the ACM'21) who showed that finite Littlestone dimension (of Boolean-valued concept classes) implies PAC learnability in the (approximate) differentially private (DP) setting. We first consider their work in the real-valued setting and further extend their techniques to the setting of learning quantum states. Key to our results is our generic quantum online learner, Robust Standard Optimal Algorithm (RSOA), which is robust to adversarial imprecision. We then show information-theoretic implications between DP learning quantum states in the PAC model, learnability of quantum states in the one-way communication model, online learning of quantum states, quantum stability (which is our conceptual contribution), various combinatorial parameters and give further applications to gentle shadow tomography and noisy quantum state learning.

研究动机与目标

• 建立关键量子学习模型之间正式的信息论蕴含关系：差分隐私PAC学习、在线学习与量子稳定性。
• 回答一个基本问题：更弱的量子学习模型（如具有隐私或在线约束的模型）是否蕴含量子态类的更强结构属性？
• 提出并分析一种新型量子在线学习算法——鲁棒标准最优算法（RSOA），该算法对输入数据中的对抗性不精确具有鲁棒性。
• 将量子学习复杂度与组合参数（如序列肥-破碎维数）以及物理概念（如信道容量）相联系。
• 改进温和阴影层析的样本复杂度边界，并将噪声量子态学习与量子信道容量相联系。

提出的方法

• 作者提出了鲁棒标准最优算法（RSOA），一种量子在线学习算法，通过维护一组存活的量子态并在预测错误时才更新，从而确保对对抗性输入序列的鲁棒性。
• 他们证明了RSOA所犯错误的次数受概念类的序列肥-破碎维数的限制，将经典在线学习理论推广至量子设置。
• 利用RSOA，他们建立了如下蕴含链：差分隐私PAC学习 → 在线学习 → 量子稳定性，表明隐私约束可导致量子态中更强的结构稳定性。
• 他们将量子稳定性形式化为一种新概念框架，通过在线学习者在对抗性反馈下的行为来定义，并表明其由在线可学习性所蕴含。
• 他们利用单向通信复杂度模型，通过序列肥-破碎维数刻画可学习性，将信息论参数与学习理论参数相联系。
• 他们将这些结果应用于改进温和阴影层析，表明所需样本数与序列肥-破碎维数的平方成正比，并将噪声学习与Holevo信息及信道容量相联系。

实验结果

研究问题

• RQ1 量子态的差分隐私PAC学习是否蕴含更强的结构属性，如在线学习或量子稳定性？
• RQ2 能否构造一种鲁棒的在线量子学习算法，使其在输入数据存在对抗性不精确时仍保持有效性？
• RQ3 组合参数（如序列肥-破碎维数）与量子学习模型样本复杂度之间的精确关系是什么？
• RQ4 量子学习中的隐私约束如何与量子信息理论中的通信复杂度和信道容量相联系？
• RQ5 量子稳定性的理论框架能否用于改进实际协议（如温和阴影层析）？

主要发现

• 本文证明了量子态的差分隐私PAC学习蕴含在线学习，建立了量子学习模型之间的基础层级关系。
• 提出了鲁棒标准最优算法（RSOA），作为量子在线学习者，其犯错次数最多为O(sfat(𝒞))，其中sfat(𝒞)是概念类的序列肥-破碎维数。
• 温和阴影层析所需样本数被改进为O(ℓ² log² m log(1/δ)/ε²)，其中ℓ = sfat(𝒞)，显著降低了样本复杂度。
• 量子稳定性被正式定义，并证明其由在线可学习性所蕴含，为理解量子态可学习性提供了新的概念视角。
• 学习量子态的单向通信复杂度由序列肥-破碎维数刻画，将学习理论与通信复杂度相联系。
• 本文建立了噪声量子态学习与Holevo信息之间的联系，表明其在物理驱动的学习场景及量子信道容量中具有相关性。