[论文解读] Online and Differentially-Private Tensor Decomposition

Yining Wang, Animashree Anandkumar|arXiv (Cornell University)|Jun 20, 2016

Tensor decomposition and applications被引用 13

一句话总结

本文提出首个在线且差分隐私的张量分解算法，采用噪声校准的张量幂法，实现线性内存使用和强隐私保障。它首次提供了理论分析，表明在非相干性假设下，隐私参数不随张量维度呈多项式依赖，显著提升了对噪声的容忍度，优于以往工作。

ABSTRACT

In this paper, we resolve many of the key algorithmic questions regarding robustness, memory efficiency, and differential privacy of tensor decomposition. We propose simple variants of the tensor power method which enjoy these strong properties. We present the first guarantees for online tensor power method which has a linear memory requirement. Moreover, we present a noise calibrated tensor power method with efficient privacy guarantees. At the heart of all these guarantees lies a careful perturbation analysis derived in this paper which improves up on the existing results significantly.

研究动机与目标

• 解决大规模数据中缺乏鲁棒、内存高效且私有的张量分解算法的问题。
• 通过避免显式构建张量，实现在线张量分解并实现线性内存使用。
• 首次为张量分解提供差分隐私保障，同时保持实用性。
• 通过精细化的扰动分析，提升张量幂法中的噪声容忍度。
• 在自然的非相干性假设下，确保隐私参数与张量维度无关。

提出的方法

• 提出一种在线张量幂法，无需构建完整张量即可处理数据流，将 d 维张量的内存使用降低至 O(d)。
• 引入一种噪声校准的张量幂法，以一种在保持恢复精度的同时保障隐私的方式注入噪声。
• 推导出一种新颖的扰动分析，其噪声容忍度边界显著优于以往工作。
• 利用张量非相干性假设，证明隐私参数与维度 d 无多项式依赖关系。
• 利用在线随机更新，从独立同分布的数据样本中逐步计算张量分量。
• 应用 Wedin 定理和矩阵扰动界，分析在噪声下分量恢复的稳定性。

实验结果

研究问题

• RQ1 能否在在线流式设置下，以线性内存高效地执行张量分解？
• RQ2 能否在不牺牲实用性或引入维度多项式依赖的前提下，实现在张量分解中的差分隐私？
• RQ3 张量幂法在仍能准确恢复分量的前提下，最多能容忍多少噪声？
• RQ4 在噪声下实现张量分量稳定恢复，所需的扰动界是什么？
• RQ5 能否在不需完整张量存储或指数级计算的前提下，维持隐私保障？

主要发现

• 在线张量幂法实现 O(dk) 的内存使用和 Õ(nk²d) 的时间复杂度，适用于具有 n 个样本的秩为 k 的张量。
• 所提出的噪声校准方法首次为张量分解提供了差分隐私保障，且在非相干性假设下，隐私参数与张量维度 d 无关。
• 扰动分析显著提升了噪声容忍度边界，使得在远高于以往方法的噪声水平下仍能实现恢复。
• 在张量非相干性和噪声分布的温和假设下，该方法以高概率确保张量分量的正确恢复。
• 样本复杂度分析表明，该方法在 Õ(nk²d) 时间和 O(dk) 内存下实现高效收敛，适用于大规模流式数据。
• 即使噪声通过差分隐私添加，理论保障依然成立，确保了隐私与实用性的双重保障。