[论文解读] Tracing the boundaries of materials in transparent vessels using computer vision

Sagi Eppel|arXiv (Cornell University)|Jan 20, 2015

Spectroscopy and Chemometric Analyses参考文献 71被引用 4

一句话总结

本文提出一种计算机视觉方法，通过图像分析检测透明容器中材料的边界。该方法将边界建模为两端位于器皿轮廓上的曲线，基于图像特性定义代价函数以评估曲线作为真实材料边界的概率，并使用戴克斯特拉算法（Dijkstra’s algorithm）寻找最优边界，成功应用于多种材料和实验室玻璃器皿类型，包括液体、固体和黏性流体。

ABSTRACT

Visual recognition of material boundaries in transparent vessels is valuable for numerous applications. Such recognition is essential for estimation of fill-level, volume and phase-boundaries as well as for tracking of such chemical processes as precipitation, crystallization, condensation, evaporation and phase-separation. The problem of material boundary recognition in images is particularly complex for materials with non-flat surfaces, i.e., solids, powders and viscous fluids, in which the material interfaces have unpredictable shapes. This work demonstrates a general method for finding the boundaries of materials inside transparent containers in images. The method uses an image of the transparent vessel containing the material and the boundary of the vessel in this image. The recognition is based on the assumption that the material boundary appears in the image in the form of a curve (with various constraints) whose endpoints are both positioned on the vessel contour. The probability that a curve matches the material boundary in the image is evaluated using a cost function based on some image properties along this curve. Several image properties were examined as indicators for the material boundary. The optimal boundary curve was found using Dijkstra's algorithm. The method was successfully examined for recognition of various types of phase-boundaries, including liquid-air, solid-air and solid-liquid interfaces, as well as for various types of glassware containers from everyday life and the chemistry laboratory (i.e., bottles, beakers, flasks, jars, columns, vials and separation-funnels). In addition, the method can be easily extended to materials carried on top of carrier vessels (i.e., plates, spoons, spatulas).

研究动机与目标

• 开发一种鲁棒的方法，用于检测因透明性和复杂界面导致传统分割方法失效的透明容器中的材料边界。
• 解决识别粉末、黏性流体和固体等非平面、不规则形状材料边界的技术挑战。
• 实现实验室和化工过程中液位、体积及相界面边界的精确估算。
• 将适用范围扩展至各类玻璃器皿（如烧杯、锥形瓶、小安瓿瓶）以及载具上的材料（如勺子或托盘上的材料）。
• 提供一种可推广的开源解决方案，通过基于图像的分析实现透明容器中边界的检测。

提出的方法

• 该方法假设材料边界在图像中表现为两端均位于器皿轮廓上的曲线。
• 基于图像特性（如灰度值、梯度、纹理）沿候选曲线定义代价函数，以评估其作为真实材料边界的概率。
• 使用戴克斯特拉算法搜索连接器皿轮廓上两点的最小代价曲线，代表最可能的边界。
• 评估多种图像特性作为边界概率的指示器，包括边缘强度和对比度变化。
• 该方法应用于包含液体、固体和黏性流体等材料的透明容器图像，并在多种玻璃器皿类型中得到验证。
• 通过调整边界检测逻辑，该方法可扩展至载具上的材料（如勺子或托盘上的材料）。

实验结果

研究问题

• RQ1 一种通用的计算机视觉方法能否可靠检测具有复杂非平面界面的透明器皿中的材料边界？
• RQ2 将边界建模为端点约束于器皿轮廓的曲线方法，在捕捉多种材料的边界方面效果如何？
• RQ3 图像特性（如灰度梯度和对比度）在区分材料边界与其他图像特征方面可发挥多大作用？
• RQ4 该方法能否推广至各类实验室玻璃器皿及现实世界中的容器？
• RQ5 使用戴克斯特拉算法进行代价最小化路径搜索，在透明容器中能否提升边界检测的准确性？

主要发现

• 该方法成功检测了包括液-气、固-气和固-液界面在内的多种材料边界。
• 在各种形状和尺寸的透明容器（如烧杯、锥形瓶、小安瓿瓶和分离漏斗）中均实现鲁棒的边界检测。
• 该方法可良好推广至非实验室玻璃器皿，如日常使用的瓶子、广口瓶和柱形容器。
• 通过调整边界约束模型，该方法可扩展至载具上的材料（如勺子或托盘上的粉末）。
• 基于图像特性的代价函数使边界选择在缺乏明显颜色或纹理对比时仍能保持高精度。
• 该方法的实现已公开发布，包含代码和文档，支持可复现性与进一步开发。