[论文解读] Unified lower bounds for interactive high-dimensional estimation under information constraints

Jayadev Acharya, Clément L. Canonne+2 more|arXiv (Cornell University)|Oct 13, 2020

Distributed Sensor Networks and Detection Algorithms被引用 8

一句话总结

本论文提出了一套统一的、即插即用的框架，用于在多种信息约束（如通信限制和局部微差隐私）下，推导交互式高维参数估计中紧致的极小极大下界——适用于一般 ℓ_p 损失函数下的离散与连续参数族。关键贡献在于提出了一项通用下界，避免了严格的正则性假设，并在恢复或改进先前结果（包括数据处理不等式和 Cramér–Rao 下界）的同时，通过匹配的上界证明了其紧致性。

ABSTRACT

We consider distributed parameter estimation using interactive protocols subject to local information constraints such as bandwidth limitations, local differential privacy, and restricted measurements. We provide a unified framework enabling us to derive a variety of (tight) minimax lower bounds for different parametric families of distributions, both continuous and discrete, under any $\\ell_p$ loss. Our lower bound framework is versatile and yields "plug-and-play" bounds that are widely applicable to a large range of estimation problems, and, for the prototypical case of the Gaussian family, circumvents limitations of previous techniques. In particular, our approach recovers bounds obtained using data processing inequalities and Cram\\'er--Rao bounds, two other alternative approaches for proving lower bounds in our setting of interest. Further, for the families considered, we complement our lower bounds with matching upper bounds.

研究动机与目标

• 解决在带宽限制和局部微差隐私等多样化信息约束下，交互式高维参数估计缺乏通用且稳健的下界的问题。
• 开发一种避免渐近统计中常见技术正则性条件的框架，以扩大其适用范围。
• 将现有方法（如数据处理不等式和 Cramér–Rao 下界）统一并推广至单一、连贯的理论结构下。
• 为连续与离散参数族（包括正态分布和离散均匀分布）在 ℓ_p 损失函数下建立紧致的极小极大下界。
• 通过构造匹配的上界，补充下界分析，以证明在关键场景中所推导下界的紧致性。

提出的方法

• 该框架通过一个以 z ∈ {−1, +1}^k 索引的分布族 {p_z} 构建一个‘困难子问题’，以表示在不同参数方向上的不确定性。
• 利用一个捕捉在约束条件下信息与参数不确定性对齐程度的量，推导出真实参数与估计值之间平均偏差的上界。
• 该方法仅依赖极少假设：无需有界比条件，仅需假设密度变化在参数移动下具有正交性和次高斯性。
• 该框架适用于离散与连续分布，包括正态族与离散均匀族，在 p ≥ 1 的 ℓ_p 损失下均适用。
• 框架利用一个通用定理（定理 1），通过在信息约束下使用互信息与散度度量来界定估计误差。
• 通过施加独立性与次高斯性等结构于密度变化之上，推导出即插即用的下界（定理 2），从而可直接应用于具体问题。

实验结果

研究问题

• RQ1 能否开发出一个单一、通用的框架，用于在多样化信息约束下推导交互式高维估计的极小极大下界，而无需依赖限制性正则性条件？
• RQ2 所提出的下界与现有方法（如数据处理不等式和 Cramér–Rao 下界）相比，在紧致性与适用性方面如何？
• RQ3 该框架在离散与连续参数族（包括正态分布与离散均匀分布）下，于 ℓ_p 损失函数中，其适用范围在多大程度上得以扩展？
• RQ4 该框架能否在特定场景（如局部微差隐私或通信受限估计）下恢复或超越已知下界？
• RQ5 所推导的下界是否紧致？能否构造出匹配的上界以确认这一点？

主要发现

• 该框架建立了一项通用的极小极大下界，避免了先前工作中常见的有界比假设，而该假设通常具有限制性。
• 在局部微差隐私下，隐私参数为 ϱ 时，下界给出 ε² ≥ Ω(d^{2/p} / (n((e^ϱ−1)² ∧ e^ϱ)))，在标准假设下与已知结果一致。
• 在通信受限估计中，每条消息使用 ℓ 位时，该下界给出 ε² ≥ Ω(d^{2/p} / (n2^ℓ))，其紧致性仅相差常数因子。
• 该框架恢复并统一了数据处理不等式与 Cramér–Rao 下界的结果，表明这些是所提通用框架的特例。
• 在正态族的 ℓ_p 损失下，该框架规避了先前技术的局限性，即使在交互式设置下也能提供紧致下界。
• 构造了匹配的上界，确认所推导的下界在大多数感兴趣场景中（包括 p=1 和高维均值估计）具有紧致性。