[论文解读] Sample-efficient image segmentation through recurrence

Drew Linsley, Junkyung Kim+2 more|arXiv (Cornell University)|Nov 28, 2018

CCD and CMOS Imaging Sensors被引用 9

一句话总结

Gamma-net 通过前馈、水平和自上而下的连接，将门控循环动态引入 U-Net 架构，其灵感来源于哺乳动物视觉皮层中的循环反馈。该模型在图像和细胞分割任务中实现了最先进或更优的性能，尤其在小样本数据集上表现显著提升，且展现出与人类心理物理学一致的新兴上下文偏差，通过生物启发的循环机制实现了数据效率的提升。

ABSTRACT

There is a growing consensus in vision science that recurrent neural networks constitute better models of visual cortex than feedforward architectures. Yet, feedforward neural networks continue to dominate most popular computer vision challenges. We bridge this gap with the Gamma-net. Inspired by recurrent feedback loops prevalent in the mammalian visual cortex, Gamma-net introduces gated recurrent dynamics through feedforward, horizontal, and top-down connections into the popular U-Net architecture. We demonstrate that Gamma-net performs on par or better than state-of-the-art architectures for dense prediction in both natural image and cell segmentation datasets. The re-entrant processing of the Gamma-net lead to especially large performance gains over the state-of-the-art on smaller datasets. We further show that Gamma-net reproduces a contextual bias in orientation estimation which is consistent with the tilt illusion in human psychophysics. The existence of this bias in Gamma-net -- which emerges from contour detection training in natural images -- supports the theory that this visual illusion is a byproduct of recurrent computational mechanisms underlying contour detection. Vision science theory suggests that recurrent processing underlies robust biological vision, and we demonstrate that similar principles can improve the data efficiency of computer vision systems.

研究动机与目标

• 弥合生物启发的循环神经网络与计算机视觉中主流前馈架构之间的差距。
• 提升密集预测任务（如图像和细胞分割）中的数据效率。
• 探究循环机制是否能够再现心理物理学中观察到的人类类似上下文偏差。
• 在不牺牲计算效率的前提下，将循环动态整合到 U-Net 架构中。

提出的方法

• 通过前馈、水平和自上而下的跳跃连接，将门控循环单元（GRUs）引入 U-Net 编码器-解码器框架。
• 采用循环反馈回路，使特征表示能够在多个处理阶段中迭代优化。
• 使用轮廓检测作为预训练目标，以促进方向估计中上下文偏差的出现。
• 在保持前馈推理路径的同时，通过循环处理实现迭代优化。
• 应用残差连接和归一化层以稳定循环组件的训练。
• 在自然图像和生物细胞图像上端到端训练网络，以评估泛化能力和数据效率。

实验结果

研究问题

• RQ1 循环反馈机制是否能提升图像分割任务中的数据效率，尤其是在小样本数据集上？
• RQ2 将循环动态整合到 U-Net 是否能带来与最先进前馈模型相当或更优的性能？
• RQ3 Gamma-net 是否能通过从自然图像轮廓中学习，再现类似人类的上下文偏差（如倾斜错觉）？
• RQ4 此类偏差的出现是否源于轮廓检测中的循环处理，从而支持生物视觉理论？

主要发现

• Gamma-net 在自然图像和细胞分割基准测试中，性能达到或优于最先进模型。
• 该模型在小样本数据集上表现出尤为显著的性能提升，证明了循环处理带来的数据效率改进。
• Gamma-net 再现了一种类倾斜错觉的上下文偏差，其方向估计偏差与人类心理物理学中观察到的现象一致。
• 这种新兴偏差自然地源于轮廓检测训练，支持了此类错觉是循环视觉计算副产物的假设。
• 循环反馈机制增强了多个处理阶段的特征优化，提升了鲁棒性和泛化能力。
• 该模型的行为与生物视觉中循环处理的理论相符，表明类似机制可增强人工视觉系统。