[论文解读] Real-Time Pill Identification for the Visually Impaired Using Deep Learning

Bo Dang, Wenchao Zhao+4 more|arXiv (Cornell University)|May 8, 2024

Tactile and Sensory InteractionsNeuroscience被引用 3

一句话总结

本文提出了一款实时移动应用程序，采用 YOLO 目标检测框架，使盲人和视力障碍用户能够通过智能手机摄像头准确识别药片。系统集成文本转语音（TTS），提供即时语音反馈，实现了高检测准确率，提升了日常用药安全性和独立性。

ABSTRACT

The prevalence of mobile technology offers unique opportunities for addressing healthcare challenges, especially for individuals with visual impairments. This paper explores the development and implementation of a deep learning-based mobile application designed to assist blind and visually impaired individuals in real-time pill identification. Utilizing the YOLO framework, the application aims to accurately recognize and differentiate between various pill types through real-time image processing on mobile devices. The system incorporates Text-to- Speech (TTS) to provide immediate auditory feedback, enhancing usability and independence for visually impaired users. Our study evaluates the application's effectiveness in terms of detection accuracy and user experience, highlighting its potential to improve medication management and safety among the visually impaired community. Keywords-Deep Learning; YOLO Framework; Mobile Application; Visual Impairment; Pill Identification; Healthcare

研究动机与目标

• 为解决视力障碍人群因依赖他人验证药片而面临高风险的药物误识别这一关键挑战。
• 开发一种实时、设备端的解决方案，利用移动视觉与深度学习实现独立药片识别。
• 集成文本转语音（TTS）以提供即时语音反馈，提升可用性与可及性。
• 从检测准确率和视力障碍用户实际使用体验两个方面评估系统性能。
• 展示在移动设备上部署轻量化、高精度目标检测模型用于医疗应用的可行性。

提出的方法

• 系统采用 YOLO（You Only Look Once）目标检测框架，在移动设备上实现实时推理。
• 收集并标注了自定义的药片图像数据集，用于训练 YOLO 模型以实现多类药片识别。
• 通过模型量化与剪枝技术对模型进行优化，以确保在移动设备上实现实时推理速度。
• 实时图像处理直接在智能手机上完成，避免数据上传至云端，从而保护用户隐私。
• 集成文本转语音（TTS）技术，将检测到的药片名称转换为语音反馈，实现即时语音输出。
• 应用程序在移动平台运行，采用设备端推理，确保低延迟与离线功能。

实验结果

研究问题

• RQ1 基于 YOLO 的深度学习模型是否能在移动设备上实时实现高精度药片检测？
• RQ2 文本转语音（TTS）的集成在提升视力障碍用户可用性与独立性方面效果如何？
• RQ3 系统在真实环境下的性能表现如何，包括检测速度、准确率与用户体验？
• RQ4 设备端推理在多大程度上能确保数据隐私与可靠性，同时无需依赖云端？
• RQ5 与现有解决方案相比，本系统在速度、准确率与视力障碍人群可及性方面表现如何？

主要发现

• 基于 YOLO 的模型在自定义药片数据集上实现了高检测准确率，能够实时可靠识别多种药片类型。
• 系统实现了低延迟的实时推理，适用于消费级移动设备的移动使用场景。
• 文本转语音（TTS）的集成提供了即时语音反馈，显著提升了用户体验与独立性。
• 设备端处理确保了数据隐私与可靠性，消除了对网络连接的依赖。
• 用户测试表明，该应用程序在真实世界场景中能有效支持视力障碍人群的药物管理。
• 模型在不同光照与背景条件下均表现出稳健性能，表明其具备实际部署潜力。