[论文解读] Submodular Observation Selection and Information Gathering for Quadratic Models

Abolfazl Hashemi, Mahsa Ghasemi+2 more|arXiv (Cornell University)|May 23, 2019

Distributed Sensor Networks and Detection Algorithms被引用 6

一句话总结

本文通过基于范·廷斯不等式推导新的字母型最优性准则，提出了一种新颖的贪心观测选择框架，适用于二次测量模型，该准则在理论上具有单调性和弱子模性。该方法实现了高效、理论上有界的信息观测选择，与均方误差（MSE）密切相关，在相位恢复和多目标跟踪任务中优于基于线性化和随机选择的方法。

ABSTRACT

We study the problem of selecting most informative subset of a large observation set to enable accurate estimation of unknown parameters. This problem arises in a variety of settings in machine learning and signal processing including feature selection, phase retrieval, and target localization. Since for quadratic measurement models the moment matrix of the optimal estimator is generally unknown, majority of prior work resorts to approximation techniques such as linearization of the observation model to optimize the alphabetical optimality criteria of an approximate moment matrix. Conversely, by exploiting a connection to the classical Van Trees' inequality, we derive new alphabetical optimality criteria without distorting the relational structure of the observation model. We further show that under certain conditions on parameters of the problem these optimality criteria are monotone and (weak) submodular set functions. These results enable us to develop an efficient greedy observation selection algorithm uniquely tailored for quadratic models, and provide theoretical bounds on its achievable utility.

研究动机与目标

• 解决在非线性二次模型中选择信息性观测的挑战，其中传统最优性准则与均方误差（MSE）的联系丧失。
• 通过利用范·廷斯不等式，开发新的信息获取准则，保持与MSE的直接联系，避免线性化近似。
• 建立这些新准则在何种理论条件下具有单调性和弱子模性的条件，从而实现高效的贪心优化。
• 设计一种基于贪心算法的观测选择方法，具有理论保证的性能。
• 通过实证验证所提框架在相位恢复和多目标跟踪任务中优于基于线性化和随机选择的方法。

提出的方法

• 基于范·廷斯不等式推导新的字母型最优性准则（A-和D-最优性），该不等式界定了任意估计器的后验均方误差。
• 在模型参数和测量特征的温和统计条件下，证明这些准则具有单调性和弱子模性。
• 开发一种贪心观测选择算法，最大化基于范·廷斯的最优性准则，而无需对二次模型进行线性化。
• 将所得的效用函数用作MSE最小化的代理，通过子模优化理论确保理论性能边界。
• 将该框架应用于两个实际应用：基于距离测量的多目标跟踪和基于傅里叶幅值测量的相位恢复。
• 通过穷举搜索与线性化模型、随机选择及局部最优方案进行比较，验证该方法。

实验结果

研究问题

• RQ1 能否利用范·廷斯不等式推导出与MSE保持直接联系的二次模型最优性准则？
• RQ2 在何种条件下，所提出的基于范·廷斯的准则具有单调性和弱子模性？
• RQ3 基于这些准则的贪心算法是否能在非线性二次模型的观测选择中实现理论保证的优良性能？
• RQ4 在实际应用中，所提框架与基于线性化和随机观测选择方法的性能相比如何？
• RQ5 在不同信噪比和测量配置下，效用的理论边界在多大程度上保持有效？

主要发现

• 在复高斯分布和基于DFT的相位恢复场景中，所提出的基于范·廷斯的A-最优性准则实现了最低的归一化均方根误差（NRMSE），优于D-最优性和随机选择。
• 在复高斯测量情况下，D-最优性表现与随机选择相似，这是由于测量向量独立同分布且噪声功率相等，证实了预期的熵增相似性。
• 基于范·廷斯A-最优性的贪心算法在性能上非常接近穷举搜索范·廷斯边界的性能，表明其在实践中接近最优。
• 在低信噪比下，弱子模性常数（WSCs）的理论边界较紧，但在高信噪比下变得松弛，表明在高信噪比环境下仍有改进空间。
• 随着所选观测数量的增加，所提方法与替代方法之间的性能差距逐渐缩小，这与范·廷斯边界的渐近精确性一致。
• 基于线性化的局部最优方案性能较差，这是由于对初始估计值敏感，凸显了所提非线性、非近似方法的优势。