[论文解读] Orthogonality Deficiency Compensation for Improved Frequency Selective Image Extrapolation

Jürgen Seiler, Katrin Meisinger+1 more|arXiv (Cornell University)|Jul 20, 2022

Image and Signal Denoising Methods被引用 6

一句话总结

本文提出了一种正交性缺陷补偿技术，以改善频率选择性图像外推，通过减轻非正交基函数引起的伪影，提升PSNR和视觉质量。该方法通过迭代地将信号分量投影到非正交基函数上，同时补偿其缺乏正交性的问题，与先前方法相比，PSNR最高提升2 dB，且视觉伪影更少。

ABSTRACT

This paper describes a very efficient algorithm for image signal extrapolation. It can be used for various applications in image and video communication, e.g. the concealment of data corrupted by transmission errors or prediction in video coding. The extrapolation is performed on a limited number of known samples and extends the signal beyond these samples. Therefore the signal from the known samples is iteratively projected onto different basis functions in order to generate a model of the signal. As the basis functions are not orthogonal with respect to the area of the known samples we propose a new extension, the orthogonality deficiency compensation, to cope with the non-orthogonality. Using this extension, very good extrapolation results for structured as well as for smooth areas are achievable. This algorithm improves PSNR up to 2 dB and gives a better visual quality for concealment of block losses compared to extrapolation algorithms existent so far.

研究动机与目标

• 解决由于非正交基函数导致的频率选择性图像外推中的信号伪影问题。
• 提升图像外推在错误隐藏和预测中的客观（PSNR）和主观（视觉质量）性能。
• 开发一种计算效率高且质量优异的外推方法，适用于实时图像和视频通信。
• 通过实现PSNR饱和，降低对最优迭代次数的依赖，避免因过度或不足迭代导致的性能下降。

提出的方法

• 该算法基于2D DFT基函数的加权线性组合构建参数模型，系数通过迭代方式估计。
• 引入正交性缺陷补偿，以校正基函数在已知支持区域内的非正交性，提升收敛性和准确性。
• 使用二值函数对缺失区域的残差误差进行掩蔽，确保误差评估仅限于已知样本。
• 该方法每图像块执行两次FFT——一次进入频域，一次返回时域——实现高效计算。
• 通过迭代投影根据残差能量选择基函数，更新系数以最小化已知区域的误差。
• 该算法在频域中使用DFT基函数实现，这些基函数特别适合外推单调、噪声和边缘区域。

实验结果

研究问题

• RQ1 如何在频率选择性外推中补偿基函数的非正交性，以改善信号重建？
• RQ2 正交性缺陷补偿对图像外推中PSNR和视觉质量的影响如何？
• RQ3 所提方法能否实现更少依赖迭代次数的稳定性能，相较于现有算法？
• RQ4 该补偿技术如何影响伪影减少，特别是在锐利边缘和结构化区域？

主要发现

• 与原始频率选择性外推方法相比，所提算法的PSNR最高提升2 dB。
• 正交性缺陷补偿显著减少了可见伪影，尤其在锐利拐角和结构化区域，从而提升了主观图像质量。
• 随着迭代次数增加，该算法实现了PSNR饱和，避免了原始方法在峰值后性能下降的问题。
• 对于'Lena'和'Peppers'图像，补偿方法分别需要250次和1000次迭代才能达到最佳效果，而原始方法仅需20次和50次。
• 尽管计算成本更高，该方法在所有测试图像中均表现更优，优于顺序法、基于DCT的方法以及凸集投影算法。
• 该方法在多种图像类型中保持高性能，包括平滑、噪声和高度结构化的区域（如'Baboon'图像）。