[论文解读] Projection Pursuit for non-Gaussian Independent Components

Joni Virta, Klaus Nordhausen+1 more|arXiv (Cornell University)|Dec 16, 2016

Blind Source Separation Techniques参考文献 3被引用 14

一句话总结

本文提出一种投影寻踪方法，通过使用平方三阶与四阶 cumulant 的凸组合作为投影指标，从高维数据中提取非高斯独立分量。该方法引入了基于降维的估计方法与对称估计方法，结果表明对称方法在提取单个非高斯分量方面优于基于降维的方法，且两者在已知信号维数时均能有效分离信号子空间与噪声子空间。

ABSTRACT

In independent component analysis it is assumed that the observed random variables are linear combinations of latent, mutually independent random variables called the independent components. Our model further assumes that only the non-Gaussian independent components are of interest, the Gaussian components being treated as noise. In this paper projection pursuit is used to extract the non-Gaussian components and to separate the corresponding signal and noise subspaces. Our choice for the projection index is a convex combination of squared third and fourth cumulants and we estimate the non-Gaussian components either one-by-one (deflation-based approach) or simultaneously (symmetric approach). The properties of both estimates are considered in detail through the corresponding optimization problems, estimating equations, algorithms and asymptotic properties. Various comparisons of the estimates show that the two approaches separate the signal and noise subspaces equally well but the symmetric one is generally better in extracting the individual non-Gaussian components.

研究动机与目标

• 开发一种稳健的方法，从具有高斯噪声的多元数据中提取非高斯独立分量。
• 通过同时估计信号子空间与单个分量，结合独立分量分析（ICA）与非高斯分量分析（NGCA）的优势。
• 通过使用平方偏度与峰度的凸组合作为投影指标，提高分量提取的准确性。
• 比较基于降维与对称估计方法在信号子空间分离与单个分量恢复方面的性能。
• 在已知信号维数 d 的条件下，建立所提估计量的渐近性质与一致性。

提出的方法

• 使用投影寻踪方法，以平方三阶与四阶 cumulant 的凸组合作为投影指标，以检测非高斯方向。
• 采用基于降维的方法，按顺序提取分量，并对每个估计分量与先前分量正交化。
• 采用对称方法，通过投影指标的联合优化，同时估计所有非高斯分量。
• 基于在矩约束下的投影指标优化，推导出估计方程与迭代算法。
• 建立估计量的仿射不变性与渐近正态性，利用 Slutsky 定理与矩阵微积分推导极限分布。
• 利用 Kronecker 积恒等式与分块对角结构分析，刻画权重矩阵估计量的渐近协方差。

实验结果

研究问题

• RQ1 在存在高斯噪声的情况下，平方偏度与峰度的凸组合是否能有效识别非高斯分量？
• RQ2 基于降维与对称方法在分离信号子空间与噪声子空间方面有何差异？
• RQ3 在估计单个非高斯分量的准确性方面，基于降维方法与对称方法中哪一种更优？
• RQ4 在已知信号维数 d 的条件下，所提估计量的渐近性质是什么？
• RQ5 该方法在混合信号与独立高斯噪声的真实数据中表现如何？

主要发现

• 尽管两种方法在信号子空间与噪声子空间的分离上表现相当，对称方法在提取单个非高斯分量方面优于基于降维的方法。
• 权重矩阵估计量的渐近协方差矩阵为分块对角矩阵，且噪声分量对应块完全相同，反映出在正交变换下的旋转不变性。
• 基于平方三阶与四阶 cumulant 凸组合的投影指标，在正则条件下可确保非高斯分量的一致估计。
• 基于降维与对称的估计量在信号子空间估计上渐近等价，但由于优化方式不同（顺序 vs. 联合优化），在分量级估计精度上存在差异。
• 在真实数据示例中，该方法成功恢复了混合图像中受高斯噪声污染的真实信号分量，而原始混合图像中无法直接观察到任何信号。
• 理论结果证实，估计量的极限分布对噪声子空间的正交变换保持不变，验证了该方法的稳健性。