[论文解读] Regression-based Intra-prediction for Image and Video Coding

Carlo Noel Ochotorena, Yukihiko Yamashita|arXiv (Cornell University)|May 12, 2016

Video Coding and Compression Technologies参考文献 23被引用 3

一句话总结

该论文提出了一种基于回归的帧内预测（RIP）方法，通过在自然图像块上使用正则化回归对HEVC风格的预测模式进行迭代优化，显著提升了所有块尺寸和条件下的预测精度，尤其在低比特率和最坏情况场景下表现突出，同时通过矩阵乘法在编码过程中保持了较低的计算复杂度。

ABSTRACT

By utilizing previously known areas in an image, intra-prediction techniques can find a good estimate of the current block. This allows the encoder to store only the error between the original block and the generated estimate, thus leading to an improvement in coding efficiency. Standards such as AVC and HEVC describe expert-designed prediction modes operating in certain angular orientations alongside separate DC and planar prediction modes. Being designed predictors, while these techniques have been demonstrated to perform well in image and video coding applications, they do not necessarily fully utilize natural image structures. In this paper, we describe a novel system for developing predictors derived from natural image blocks. The proposed algorithm is seeded with designed predictors (e.g. HEVC-style prediction) and allowed to iteratively refine these predictors through regularized regression. The resulting prediction models show significant improvements in estimation quality over their designed counterparts across all conditions while maintaining reasonable computational complexity. We also demonstrate how the proposed algorithm handles the worst-case scenario of intra-prediction with no error reporting.

研究动机与目标

• 解决HEVC和AVC中手工设计的帧内预测模式未能充分利用自然图像结构的局限性。
• 通过使用真实图像数据学习从参考像素到预测块的线性映射，提升预测精度。
• 构建一个鲁棒的帧内预测系统，即使在最坏情况（如无错误报告且仅顶部左上块被编码）下也能保持良好性能。
• 通过离线训练后将帧内预测简化为单次矩阵乘法，保持编码过程中的低计算复杂度。
• 通过在图像编码中隔离帧内预测性能，证明该方法在视频编码中的可扩展性。

提出的方法

• 以现有的HEVC风格预测模式（DC、平面和33种角度模式）作为初始预测器进行算法初始化。
• 采用受k-means聚类启发的迭代优化过程：将每个训练块分配给表现最佳的预测器，然后为每个聚类重新训练新的线性回归模型。
• 应用正则化回归（如岭回归）以防止过拟合并提升在不同图像结构上的泛化能力。
• 通过堆叠各组特定的回归矩阵构建全局预测矩阵，实现通过单次矩阵乘法完成预测。
• 利用优化的线性代数库（如BLAS）确保编码过程中推理的高效性。
• 通过仅使用左上角块和RIP估计值重建整个图像，实现最坏情况下的帧内编码，且仅报告一次残差误差。

实验结果

研究问题

• RQ1 与手工设计的HEVC风格模式相比，基于数据驱动的回归方法能否显著提升帧内预测精度？
• RQ2 在无错误报告且先验信息极少的最坏情况帧内编码条件下，所提方法表现如何？
• RQ3 对回归模型进行迭代优化在不同图像内容和块尺寸下，能在多大程度上提升预测质量？
• RQ4 尽管精度提升，RIP方法在编码过程中是否仍保持低计算复杂度？
• RQ5 所学习的预测器能否在不同图像类型和块尺寸（如4×4至32×32）之间有效泛化？

主要发现

• 在最佳条件下，RIP方法在Lena、Peppers和Mandrill图像上的预测质量分别相比传统HEVC模式平均提升5.747 dB、6.693 dB和2.432 dB。
• 对于32×32块，RIP在定量指标上仍显著领先于HEVC风格预测器，但主观评价显示由于参考像素与预测像素之间的维度差距过大，存在噪声增加现象。
• 在最坏情况帧内编码场景下（仅左上角块被编码，其余均无错误报告地预测），RIP方法生成了稳定且低复杂度的重建结果，支持高效的残差编码。
• 该方法通过实现串行、无错误报告的重建流程，减少了对率失真优化的需求。
• 最终预测步骤计算高效，每个块仅需一次矩阵乘法，得益于预训练的回归矩阵。
• 该方法可扩展至视频编码，因为其核心帧内预测机制与时间预测无关，仅依赖空间相关性。