[论文解读] Self Consistency: A General Recipe for Wavelet Estimation With Irregularly-spaced and/or Incomplete Data

Thomas C. M. Lee, Xiao‐Li Meng|ArXiv.org|Jan 6, 2007

Image and Signal Denoising Methods参考文献 47被引用 6

一句话总结

本文提出了一种针对不规则采样或不完整数据的自一致性小波估计框架，将此类数据视为规则网格中的缺失观测值。通过利用EM型算法和多重插补法，该方法使标准小波软阈值化技术能够在非独立同分布、非高斯或相关噪声条件下应用，展示了在信号平滑和图像去噪任务中性能优越，且对数据缺失机制的假设极少。

ABSTRACT

Inspired by the key principle behind the EM algorithm, we propose a general methodology for conducting wavelet estimation with irregularly-spaced data by viewing the data as the observed portion of an augmented regularly-spaced data set. We then invoke the self-consistency principle to define our wavelet estimators in the presence of incomplete data. Major advantages of this approach include: (i) it can be coupled with almost any wavelet shrinkage methods, (ii) it can deal with non--Gaussian or correlated noise, and (iii) it can automatically handle other kinds of missing or incomplete observations. We also develop a multiple-imputation algorithm and fast EM-type algorithms for computing or approximating such estimates. Results from numerical experiments suggest that our algorithms produce favorite results when comparing to several common methods, and therefore we hope these empirical findings would motivate subsequent theoretical investigations. To illustrate the flexibility of our approach, examples with Poisson data smoothing and image denoising are also provided.

研究动机与目标

• 解决标准小波方法在假设等距采样、完整数据且样本数为2的幂次时的局限性。
• 开发一种通用的小波估计框架，可处理不规则间距和缺失数据，而无需依赖插值或强光滑性假设。
• 通过严谨的统计方法，使现有小波软阈值化方法（如硬阈值化、SURE和MDL）能够应用于不完整或不规则采样的数据。
• 提供计算高效的算法，包括快速EM型算法和多重插补程序，以在缺失数据条件下估计小波系数。
• 通过在非高斯数据（如泊松分布）和存在缺失像素的图像去噪中的应用，展示该方法的灵活性与鲁棒性。

提出的方法

• 将不规则间距或不完整数据视为规则等距网格中的缺失观测值，将问题建模为缺失数据估计问题。
• 应用自一致性原理，受EM算法启发，通过迭代插补缺失值并更新估计值，直至收敛，以估计小波系数。
• 该方法可兼容任意小波软阈值化方法，包括硬阈值化、SURE、MDL和交叉验证，通过将它们整合进插补与估计的循环中实现。
• 采用多重插补法生成多个含插补值的数据集，并将结果合并以获得稳健的小波估计。
• 推导出快速EM型算法，以高效近似自一致性估计，尤其适用于大规模问题。
• 通过在插补后的规则网格框架下建模观测数据的似然函数，处理非高斯和相关噪声。

实验结果

研究问题

• RQ1 能否通过严谨的统计框架将小波估计推广至不规则采样或不完整数据，避免插值和光滑性假设？
• RQ2 如何通过统一的计算框架，使现有小波软阈值化方法适用于缺失或不规则采样的数据？
• RQ3 在均方误差和鲁棒性方面，自一致性小波估计器相较于标准插值法或正则化方法的表现如何？
• RQ4 如何高效设计EM型和多重插补算法，以在高维设置下计算自一致性小波估计？
• RQ5 在缺失数据机制下，自一致性小波估计器可建立哪些理论性质，如一致性或偏差减少？

主要发现

• 所提出的自一致性小波估计器在非高斯和相关噪声设置下，其均方误差（MSE）优于常见插值法。
• 数值实验表明，该方法在泊松分布数据平滑中表现优异，而传统高斯假设在此类场景下失效。
• 在存在随机或聚类缺失像素的图像去噪中，该方法成功重建了图像，且在MSE比值上优于基线方法。
• 基于多重插补的MISC算法和EM型RefA算法均产生稳定且精确的估计，图7的箱线图显示其在各次试验中均表现出一致优势。
• 该方法对多种噪声类型和缺失数据机制具有鲁棒性，包括非独立同分布和非高斯误差，且无需显式建模设计点分布。
• 该框架通过将标准小波软阈值化规则（如SURE、MDL）嵌入迭代插补与估计循环中，使这些规则可应用于不完整数据。