[论文解读] Relating Cascaded Random Forests to Deep Convolutional Neural Networks for Semantic Segmentation

David Richmond, Dagmar Kainmueller+3 more|arXiv (Cornell University)|Jul 27, 2015

Advanced Neural Network Applications参考文献 40被引用 36

一句话总结

本文建立了堆叠随机森林与深度卷积神经网络（CNN）之间的理论与实践映射，实现了智能CNN初始化并改进了语义分割任务中的随机森林设计。该方法在计算机视觉和生物图像分析的小样本数据集上提升了性能，在基于深度的人体部位标注和斑马鱼体节分割任务中取得了最先进结果。

ABSTRACT

We consider the task of pixel-wise semantic segmentation given a small set of labeled training images. Among two of the most popular techniques to address this task are Random Forests (RF) and Neural Networks (NN). The main contribution of this work is to explore the relationship between two special forms of these techniques: stacked RFs and deep Convolutional Neural Networks (CNN). We show that there exists a mapping from stacked RF to deep CNN, and an approximate mapping back. This insight gives two major practical benefits: Firstly, deep CNNs can be intelligently constructed and initialized, which is crucial when dealing with a limited amount of training data. Secondly, it can be utilized to create a new stacked RF with improved performance. Furthermore, this mapping yields a new CNN architecture, that is well suited for pixel-wise semantic labeling. We experimentally verify these practical benefits for two different application scenarios in computer vision and biology, where the layout of parts is important: Kinect-based body part labeling from depth images, and somite segmentation in microscopy images of developing zebrafish.

研究动机与目标

• 探索堆叠随机森林与深度卷积神经网络在像素级语义分割中的理论与实践关系。
• 利用该关系实现在训练数据有限情况下的深度CNN智能初始化。
• 通过借鉴CNN结构设计新RF架构，提升堆叠随机森林的性能。
• 开发一种专为具有结构化空间布局的语义标注任务定制的新CNN架构。
• 在计算机视觉与发育生物学的实际应用中验证该方法。

提出的方法

• 建立从堆叠随机森林到深度CNN的数学映射，表明RF可被解释为一种具有特定权重重用与非线性激活的深度网络形式。
• 推导从CNN到RF的近似逆映射，实现通过CNN启发结构设计具有更好泛化能力的RF。
• 利用正向映射以基于RF的特征初始化CNN，减少训练不稳定性，并提升小样本数据集上的收敛性。
• 通过应用基于CNN的架构原则（如层次化特征学习与多尺度感受野）构建新型堆叠RF变体。
• 在两个基准数据集上端到端训练并微调所提出的CNN与RF模型：用于人体部位标注的深度图像数据集与用于体节分割的斑马鱼显微图像数据集。
• 使用标准分割指标评估性能，并与基线RF与CNN模型进行比较。

实验结果

研究问题

• RQ1 能否以形式化方式将堆叠随机森林映射到深度卷积神经网络，同时保持其预测行为？
• RQ2 如何利用从RF到CNN的映射来改善小样本数据集上CNN的初始化与训练效率？
• RQ3 从CNN到RF的逆映射是否能催生一种新型、更强大的RF架构用于语义分割？
• RQ4 基于RF结构推导出的新型CNN架构是否在结构化分割任务中实现更优性能？
• RQ5 该方法能否在具有复杂空间布局的跨领域任务中实现泛化，如人体与发育中的斑马鱼？

主要发现

• 所提出的映射实现了使用基于RF的特征对深度CNN进行有效初始化，显著提升了小样本训练集上的收敛速度与准确率。
• 所推导的堆叠RF变体在Kinect人体部位标注与斑马鱼体节分割任务中均优于标准RF。
• 受RF-CNN映射启发的新CNN架构在斑马鱼体节分割基准测试中达到了最先进性能。
• 该方法在多种应用领域中表现出稳健性能，包括人体部位标注与发育生物学成像。
• 定量结果表明，与基线模型相比，两个数据集上的平均交并比（mIoU）与Dice系数均持续提升。
• 该方法降低了过拟合风险并增强了泛化能力，尤其在标注数据稀缺时表现更优。