[论文解读] Streaming an image through the eye: The retina seen as a dithered scalable image coder

Khaled Masmoudi, Marc Antonini+1 more|arXiv (Cornell University)|Feb 10, 2012

CCD and CMOS Imaging Sensors参考文献 40被引用 13

一句话总结

本文提出一种受生物启发的可扩展图像编码器，其模型基于哺乳动物视网膜，采用两级确定性过程：首先，通过时间延迟的高斯差分变换模拟外层视网膜，随后在内层实现动态模数转换以生成基于脉冲的编码。关键创新在于将视网膜噪声建模为多尺度抖动，从而对重建误差进行白化处理，使其与输入解耦，并在解码过程中加速图像细节的感知识别。

ABSTRACT

We propose the design of an original scalable image coder/decoder that is inspired from the mammalians retina. Our coder accounts for the time-dependent and also nondeterministic behavior of the actual retina. The present work brings two main contributions: As a first step, (i) we design a deterministic image coder mimicking most of the retinal processing stages and then (ii) we introduce a retinal noise in the coding process, that we model here as a dither signal, to gain interesting perceptual features. Regarding our first contribution, our main source of inspiration will be the biologically plausible model of the retina called Virtual Retina. The main novelty of this coder is to show that the time-dependent behavior of the retina cells could ensure, in an implicit way, scalability and bit allocation. Regarding our second contribution, we reconsider the inner layers of the retina. We emit a possible interpretation for the non-determinism observed by neurophysiologists in their output. For this sake, we model the retinal noise that occurs in these layers by a dither signal. The dithering process that we propose adds several interesting features to our image coder. The dither noise whitens the reconstruction error and decorrelates it from the input stimuli. Furthermore, integrating the dither noise in our coder allows a faster recognition of the fine details of the image during the decoding process. Our present paper goal is twofold. First, we aim at mimicking as closely as possible the retina for the design of a novel image coder while keeping encouraging performances. Second, we bring a new insight concerning the non-deterministic behavior of the retina.

研究动机与目标

• 设计一种确定性、受生物启发的图像编码器，模拟视网膜的处理阶段以实现可扩展的图像压缩。
• 解决在计算上可行且可逆的编码框架中复现视网膜时间依赖性和非确定性行为的挑战。
• 探究视网膜噪声（传统上被视为干扰）是否可在感知图像处理中发挥功能性作用。
• 评估编码过程中引入抖动是否能提升感知重建质量，特别是提升对图像细节和奇异点的早期识别能力。
• 建立神经噪声与视觉编码中感知效率之间的生物学合理联系，表明视网膜可能不仅优化率失真，还优化任务性能。

提出的方法

• 将虚拟视网膜模型适配为两级确定性图像编码器：通过外层视网膜中的时间延迟高斯差分滤波器（DoG）进行图像变换。
• 在内层视网膜中通过动态阈值化实现时变模数转换，以生成基于脉冲的编码。
• 引入多尺度抖动信号以建模视网膜噪声，将内层视为非减法型抖动模数转换器。
• 在神经节细胞层输入处应用抖动信号，其统计特性经调整以匹配观测到的视网膜变异性。
• 采用解码路径，通过时间积分和逆滤波反演基于脉冲的编码，利用编码过程的可逆性。
• 使用观测时间（tobs）作为可扩展性控制参数，较长的观测时间可产生更高品质的重建。

实验结果

研究问题

• RQ1 能否设计一种确定性图像编码器，以忠实地再现视网膜处理的功能阶段，包括时间依赖的动力学特性？
• RQ2 在内层视网膜中集成抖动信号如何影响重建图像的感知质量和误差特性？
• RQ3 尽管重建误差增加，编码过程中的抖动是否能提升解码过程中对图像细节和奇异点的早期识别能力？
• RQ4 抖动过程在多大程度上使重建误差与输入刺激解耦，并使其误差谱白化？
• RQ5 视网膜输出的非确定性行为更应被解释为噪声，还是作为感知优化的功能性抖动机制？

主要发现

• 抖动编码器实现了细节识别的感知加速：在44毫秒观测时间内，狒狒图像中的面部和毛发等精细特征清晰可见，而无噪声重建中仍保持模糊。
• 抖动过程使重建误差白化，并与输入刺激解耦，这是减少感知伪影的关键特征。
• 尽管抖动情况下的均方误差（MSE）更高，但感知质量更优，表明视网膜的优化准则并非仅限于率失真权衡。
• 最优重建观测时间为44毫秒，此时感知质量达到峰值，证明了该编解码器可通过时间实现可扩展性。
• 该模型成功反演了基于脉冲的编码以重建原始图像，证实了在确定性和抖动条件下编码方案的可逆性。
• 结果支持如下假设：视网膜噪声并非单纯副产物，而是一种功能性抖动机制，可增强感知处理，与计算神经科学的最新发现一致。