[论文解读] Tendon-Driven Soft Robotic Gripper with Integrated Ripeness Sensing for Blackberry Harvesting

Alex Qiu, Claire Young+4 more|arXiv (Cornell University)|Feb 6, 2023

Smart Agriculture and AIAgricultural and Biological Sciences被引用 3

一句话总结

本文提出了一种低成本、肌腱驱动的软体机械手，集成近红外（NIR）反射率传感与内窥镜摄像头，用于自动化黑莓采摘。该系统实现了对成熟黑莓的选择性采摘，保留力为2.06 N，在视觉伺服控制下的实验室试验中成功率高达94%，并利用NIR反射率区分成熟与未成熟果实（平均值分别为16.78与21.70）。

ABSTRACT

Growing global demand for food, coupled with continuing labor shortages, motivates the need for automated agricultural harvesting. While some specialty crops (e.g., apples, peaches, blueberries) can be harvested via existing harvesting modalities, fruits such as blackberries and raspberries require delicate handling to mitigate fruit damage that could significantly impact marketability. This motivates the development of soft robotic solutions that enable efficient, delicate harvesting. This paper presents the design, fabrication, and feasibility testing of a tendon-driven soft gripping system focused on blackberries, which are a fragile fruit susceptible to post-harvest damage. The gripper is both low-cost and small form factor, allowing for the integration of a micro-servo for tendon retraction, a near-infrared (NIR) based blackberry ripeness sensor utilizing the reflectance modality for identifying fully ripe blackberries, and an endoscopic camera for visual servoing with a UR-5. The gripper was used to harvest 139 berries with manual positioning in two separate field tests. Field testing found an average retention force of 2.06 N and 6.08 N for ripe and unripe blackberries, respectively. Sensor tests identified an average reflectance of 16.78 and 21.70 for ripe and unripe blackberries, respectively, indicating a clear distinction between the two ripeness levels. Finally, the soft robotic gripper was integrated onto a UR5 robot arm and successfully harvested fifteen artificial blackberries in a lab setting using visual servoing.

研究动机与目标

• 应对因劳动力短缺和食品需求增长而带来的特种作物自动化采摘的日益增长需求。
• 开发一种专为易损黑莓设计的软体机械手，以减少采摘过程中的损伤。
• 集成成熟度传感与视觉伺服控制，实现仅采摘完全成熟的黑莓。
• 确保系统成本低廉且结构紧凑，适用于UR5等工业机械臂的实用部署。
• 通过真实与人工黑莓在田间与实验室环境中的测试，验证该机械手的可行性。

提出的方法

• 采用3D打印部件与柔性弹性体材料设计肌腱驱动的软体机械手，实现对果实的温和抓持。
• 集成微型伺服电机通过肌腱回缩实现驱动，以控制抓握力。
• 集成近红外（NIR）反射率传感器，基于成熟与未成熟黑莓之间的光谱差异检测成熟度。
• 安装内窥镜摄像头以实现视觉伺服控制，利用UR5机械臂引导机械手精准定位目标果实。
• 采用紧凑型结构设计，便于与工业机器人系统集成。
• 结合田间测试（139颗果实）与基于实验室视觉伺服控制的试验（15颗人工果实）评估性能。

实验结果

研究问题

• RQ1 集成成熟度传感的肌腱驱动软体机械手能否实现可靠、无损伤的黑莓采摘？
• RQ2 在真实环境下，近红外反射率在多大程度上可有效区分成熟与未成熟黑莓？
• RQ3 结合内窥镜摄像头的视觉伺服控制能否实现机械手的精确且可重复的定位以完成采摘？
• RQ4 该机械手对成熟与未成熟黑莓的保留力分别是多少？是否能有效防止果实损伤？
• RQ5 该机械手与UR5机械臂在田间与受控实验室环境中的集成是否具有可行性？

主要发现

• 机械手对成熟黑莓的平均保留力为2.06 N，对未成熟果实为6.08 N，表明具备选择性抓持能力。
• NIR反射率测量结果显示，成熟黑莓（平均16.78）与未成熟黑莓（平均21.70）之间存在明显差异。
• 在实验室试验中，机械手通过视觉伺服控制成功采摘了15颗人工黑莓中的全部15颗，成功率达到100%。
• 田间测试证实了该系统在真实环境下的可行性，共成功采摘139颗真实黑莓，表现出良好的环境适应性。
• 与UR5机械臂的集成成功，实现了具备视觉反馈的自动化采摘。
• 低成本、紧凑的设计支持其在现有机器人平台上的可扩展性与部署，适用于农业自动化。