[论文解读] NEFI: Network Extraction From Images

Michael Dirnberger, Adrian Neumann+1 more|arXiv (Cornell University)|Feb 18, 2015

Slime Mold and Myxomycetes Research参考文献 16被引用 9

一句话总结

NEFI 是一个开源、用户友好的软件框架，通过整合图像处理、计算机视觉和图论技术，自动从网络状结构图像（如叶脉、黏菌和泥裂）中提取数学图。它使非专家用户可通过直观的图形界面轻松提取准确、可分析的图，并支持批量处理，其灵活性、可扩展性和算法鲁棒性优于专用工具 LEAF GUI。

ABSTRACT

Networks and network-like structures are amongst the central building blocks of many technological and biological systems. Given a mathematical graph representation of a network, methods from graph theory enable a precise investigation of its properties. Software for the analysis of graphs is widely available and has been applied to graphs describing large scale networks such as social networks, protein-interaction networks, etc. In these applications, graph acquisition, i.e., the extraction of a mathematical graph from a network, is relatively simple. However, for many network-like structures, e.g. leaf venations, slime molds and mud cracks, data collection relies on images where graph extraction requires domain-specific solutions or even manual. Here we introduce Network Extraction From Images, NEFI, a software tool that automatically extracts accurate graphs from images of a wide range of networks originating in various domains. While there is previous work on graph extraction from images, theoretical results are fully accessible only to an expert audience and ready-to-use implementations for non-experts are rarely available or insufficiently documented. NEFI provides a novel platform allowing practitioners from many disciplines to easily extract graph representations from images by supplying flexible tools from image processing, computer vision and graph theory bundled in a convenient package. Thus, NEFI constitutes a scalable alternative to tedious and error-prone manual graph extraction and special purpose tools. We anticipate NEFI to enable the collection of larger datasets by reducing the time spent on graph extraction. The analysis of these new datasets may open up the possibility to gain new insights into the structure and function of various types of networks. NEFI is open source and available http://nefi.mpi-inf.mpg.de.

研究动机与目标

• 解决在不同科学领域中，图像图提取工具缺乏可访问性、可重用性和良好文档化的问题。
• 降低手动或领域专用图提取方法在图像中提取图所耗费的时间和出错率。
• 为非专家用户提供一个可扩展、可伸缩的平台，集成成熟的计算机视觉和图论方法。
• 通过高效、自动化的图像图提取，促进更大规模、标准化的网络数据库的建立。
• 既通过直观的图形界面支持非专家用户，也通过可扩展、模块化的架构支持专家进行算法开发和集成。

提出的方法

• NEFI 采用模块化流水线架构，允许用户灵活、可组合地串联图像处理、分割、细化和图检测等步骤，构建工作流。
• 它利用 OpenCV 等成熟库进行图像处理，以及 NetworkX 进行图操作，以确保可靠性与性能。
• 分割步骤采用先进的技术（如引导式分水岭和 GrabCut）以提高在复杂或噪声图像中的准确性。
• Guo-Hall 细化算法可确保骨架的拓扑连通性，这对准确的图表示至关重要。
• 顶点检测基于骨架中的节点点，但不检测二度顶点，且可能将高阶顶点（≥4）拆分为多个三度顶点。
• 图过滤和后处理步骤允许用户合并分裂的顶点，优化最终图结构。

实验结果

研究问题

• RQ1 是否存在一种通用、用户友好的软件平台，可在无需专家知识的情况下，自动从多样化网络状图像中提取图？
• RQ2 NEFI 集成成熟计算机视觉与图论方法的方式，与专用、临时开发的解决方案相比，在准确性和可用性方面表现如何？
• RQ3 NEFI 在支持批量处理和大规模数据集生成用于网络分析方面，其能力达到何种程度？
• RQ4 NEFI 的可扩展性在多大程度上支持专家贡献并增强其在新应用中的能力？
• RQ5 与手动操作或专用工具 LEAF GUI 相比，NEFI 是否能显著降低图提取的时间和出错率？

主要发现

• NEFI 在大多数流水线步骤中，处理 1152×864 尺寸图像的时间少于 1 秒，处理 5760×3840 尺寸图像的最耗时步骤也少于 12 秒，展现出极高的效率。
• 该框架在关键方面优于 LEAF GUI：支持批量处理、预设工作流、自由组合算法以及可扩展性，而 LEAF GUI 缺乏这些功能。
• NEFI 采用引导式分水岭和 GrabCut 分割方法，相比 LEAF GUI 所用的阈值法，在低对比度或噪声图像中表现出更强的鲁棒性。
• Guo-Hall 细化方法通过保持连通性确保了拓扑正确性，这是相较于其他细化算法的关键优势。
• NEFI 支持中间结果的可视化检查，并提供图过滤和属性计算功能，而这些功能在 LEAF GUI 的图形界面中并未完全实现。
• 平台的开源特性和模块化设计，使得新算法的集成更加容易，推动了社区驱动的开发与更广泛的应用。