[论文解读] Treelogy: A Novel Tree Classifier Utilizing Deep and Hand-crafted Representations

İlke Çuğu, Eren Şener+5 more|arXiv (Cornell University)|Jan 28, 2017

Smart Agriculture and AI参考文献 20被引用 16

一句话总结

Treelogy 提出了一种新颖的树分类器，将深度卷积神经网络（CNN）特征与从叶像中提取的手工设计图像特征相结合，在57个物种的数据集上实现了90.5%的top-1准确率。该系统采用基于CNN的分割与茎秆去除，将fc6层CNN特征与手工设计的描述符相结合，并训练线性SVM，其性能优于仅使用纯CNN或手工特征的方法。

ABSTRACT

We propose a novel tree classification system called Treelogy, that fuses deep representations with hand-crafted features obtained from leaf images to perform leaf-based plant classification. Key to this system are segmentation of the leaf from an untextured background, using convolutional neural networks (CNNs) for learning deep representations, extracting hand-crafted features with a number of image processing techniques, training a linear SVM with feature vectors, merging SVM and CNN results, and identifying the species from a dataset of 57 trees. Our classification results show that fusion of deep representations with hand-crafted features leads to the highest accuracy. The proposed algorithm is embedded in a smart-phone application, which is publicly available. Furthermore, our novel dataset comprised of 5408 leaf images is also made public for use of other researchers.

研究动机与目标

• 开发一种结合深度学习与传统图像处理特征的高精度树分类系统。
• 解决现有方法仅依赖手工特征或纯CNN所带来的局限性，这些方法可能无法捕捉细微的物种差异。
• 创建并发布一个包含5,408张图像的大型预处理叶像数据集，涵盖57种树种，以支持未来研究。
• 在实际移动应用中实现该系统，供生态学家、教育工作者和自然爱好者在野外使用。
• 证明特征融合可提升分类性能，优于单独使用深度特征或手工特征。

提出的方法

• 应用卷积神经网络（CNN）通过端到端学习实现从无纹理背景中分割叶片并去除茎秆。
• 使用图像处理技术（如曲率描述符、形状描述符和多尺度距离矩阵）提取手工设计特征。
• 使用在数据集上微调过的预训练CNN，从fc6和fc7层提取深度表征。
• 将深度CNN特征（fc6或fc7）与手工设计特征向量拼接，形成单一的4152维同质特征向量。
• 在融合后的特征向量上训练线性SVM（LSVM）以完成最终分类。
• 通过LSVM隐式实现加权融合策略，不为CNN或手工特征分配显式权重。

实验结果

研究问题

• RQ1 将深度CNN特征与手工设计特征结合，是否能提升树种分类准确率，使其超越单独使用任一模态的效果？
• RQ2 在大规模、多样化的叶像数据集上，混合模型的性能与纯CNN或手工特征模型相比如何？
• RQ3 包含来自多样化来源的预处理高质量叶像在多大程度上提升了模型的泛化能力与可复现性？
• RQ4 集成此类混合模型的移动应用是否能为野外提供实用且实时的树种识别？
• RQ5 在具有高类内差异与低类间差异的挑战性数据集上，特征融合是否能带来更好的性能表现？

主要发现

• 将手工设计特征与fc6层CNN特征融合后，在57个物种数据集上实现了最高的top-1准确率（90.5%）。
• 仅使用CNN的模型达到84.62%的top-1准确率，而仅使用手工特征的模型在LSVM下达到89.62%的准确率。
• fc6特征与手工特征的组合优于两个独立组件，证明了多模态特征融合的优势。
• 在Flavia数据集（32个物种，1,907张图像）上，融合模型达到99.68%的准确率，超过当前最先进方法（纯CNN为98.44%）。
• 该系统在仅使用CNN时top-5准确率为97.58%，表明模型具有较强的置信度，但top-1准确率通过特征融合实现最大化。
• 公开发布的5,408张预处理叶像数据集有望加速未来基于叶片的植物分类研究。