[论文解读] On the optimal stacking of noisy observations

Øyvind Ryan|arXiv (Cornell University)|Apr 14, 2010

Spatial and Panel Data Analysis被引用 1

一句话总结

本文研究了在随机矩阵模型中对噪声观测进行最优堆叠策略，以最小化谱估计的方差。结果表明，构建尽可能接近方形的复合观测矩阵可使估计器方差最小化，而垂直堆叠和水平堆叠在渐近意义上表现较差，尽管所有堆叠类型相比简单平均均能降低方差。

ABSTRACT

Observations where additive noise is present can for many models be grouped into a compound observation matrix, adhering to the same type of model. There are many ways the observations can be stacked, for instance vertically, horizontally, or quadratically. An estimator for the spectrum of the underlying model can be formulated for each stacking scenario in the case of Gaussian noise. We compare these spectrum estimators for the different stacking scenarios, and show that all kinds of stacking actually decreases the variance when compared to just taking an average of the observations. We show that, regardless of the number of observations, the variance of the estimator is smallest when the compound observation matrix is made as square as possible. When the number of observations grow, however, it is shown that the difference between the estimators is marginal: Two stacking scenarios where the number of columns and rows grow to infinity are shown to have the same variance asymptotically, even if the asymptotic matrix aspect ratios differ. Only the cases of vertical and horizontal stackings display different behaviour, giving a higher variance asymptotically. Models where not all kinds of stackings are possible are also discussed.

研究动机与目标

• 确定将多个噪声观测堆叠为复合矩阵的最优方式，以在随机矩阵模型中改进谱估计。
• 比较不同堆叠配置（垂直、水平和平方堆叠）下谱估计器的方差。
• 确立堆叠总是能降低相比简单平均的方差，并识别出使方差最小的堆叠方式。
• 分析在观测数增长时，不同堆叠情景下谱估计器的渐近行为。
• 处理由于模型约束导致并非所有堆叠类型都可行的情况，并在这些情形下刻画最优堆叠。

提出的方法

• 使用基于矩的自由概率框架，该框架针对有限维高斯随机矩阵进行了适配，如文献[12]所提出，以推导谱估计器。
• 定义三种堆叠类型：垂直堆叠（L1×L2，含L1行L2列）、水平堆叠（L2×L1）和平方堆叠（L1=L2），从L=L1L2个独立同分布的观测中形成复合矩阵。
• 利用涉及置换和配对的组合迹公式，推导底层确定性矩阵D的谱的p阶矩估计器的方差。
• 应用矩方法计算谱估计器的方差，考虑置换图中不同类型配对（如交叉识别、环、树）的贡献。
• 使用渐近分析比较不同堆叠比下的估计器方差，表明方差取决于复合矩阵的纵横比。
• 证明当复合矩阵尽可能接近方形时，方差最小化，利用函数f(c) = c^{(k-l)/2} + c^{(l-k)/2}的凸性论证，其最小值出现在c=1处。

实验结果

研究问题

• RQ1 将多个噪声观测堆叠为复合矩阵是否能降低谱估计器相比简单平均的方差？
• RQ2 在给定观测数下，哪种堆叠配置——垂直、水平或平方——能最小化谱估计器的方差？
• RQ3 随着观测数增长，不同堆叠类型下谱估计器方差的渐近行为有何差异？
• RQ4 不同堆叠配置下，谱估计器的有限样本方差能否以闭式表达？
• RQ5 在何种条件下完全堆叠（如形成方形矩阵）不可行，这又如何影响最优估计器设计？

主要发现

• 所有堆叠配置相比简单平均均能降低谱估计器的方差，无论观测数多少。
• 当复合观测矩阵尽可能接近方形时，方差最小化，即当纵横比c = (nL1)/(NL2)最接近1时。
• 当p=1时，所有堆叠类型的估计器方差为L⁻¹(nN)⁻¹D₁，但当p≥2时，垂直堆叠和水平堆叠的方差高于平方堆叠。
• 随着观测数增长，具有相同纵横比的堆叠类型其估计器的渐近方差趋于一致，但垂直堆叠和水平堆叠的渐近方差高于最优（方形）堆叠。
• 当L₁固定且L₂→∞（垂直堆叠）时，方差衰减为O(L⁻¹)；而当L₁→∞且L₂固定（水平堆叠）时，方差衰减为O(L⁻¹/²)，表明性能更差。
• 关键洞见在于，方差通过凸函数f(c) = c^{(k-l)/2} + c^{(l-k)/2}依赖于矩阵维度的乘积，该函数在c=1处取得最小值，从而证明了方形性可最小化方差。