[论文解读] Voice-Assisted Real-Time Traffic Sign Recognition System Using Convolutional Neural Network

Mayura Manawadu, Udaya Wijenayake|arXiv (Cornell University)|Apr 11, 2024

Vehicle License Plate Recognition被引用 7

一句话总结

本文提出一个由两个子系统组成的系统，使用CNN实时检测和识别交通标志，然后通过文本转语音引擎将标志进行朗读，以帮助驾车者。

ABSTRACT

Traffic signs are important in communicating information to drivers. Thus, comprehension of traffic signs is essential for road safety and ignorance may result in road accidents. Traffic sign detection has been a research spotlight over the past few decades. Real-time and accurate detections are the preliminaries of robust traffic sign detection system which is yet to be achieved. This study presents a voice-assisted real-time traffic sign recognition system which is capable of assisting drivers. This system functions under two subsystems. Initially, the detection and recognition of the traffic signs are carried out using a trained Convolutional Neural Network (CNN). After recognizing the specific traffic sign, it is narrated to the driver as a voice message using a text-to-speech engine. An efficient CNN model for a benchmark dataset is developed for real-time detection and recognition using Deep Learning techniques. The advantage of this system is that even if the driver misses a traffic sign, or does not look at the traffic sign, or is unable to comprehend the sign, the system detects it and narrates it to the driver. A system of this type is also important in the development of autonomous vehicles.

研究动机与目标

• 强调交通标志理解对道路安全的重要性。
• 开发用于交通标志的实时检测与识别流水线。
• 创建一个由两个子系统组成的系统：基于CNN的识别与为驾驶员提供语音叙述。
• 在基准数据集上展示CNN模型的高效性。
• 突出在自动驾驶汽车开发中的潜在应用。

提出的方法

• 开发一个针对实时交通标志检测与识别而定制的高效CNN模型。
• 在基准交通标志数据集上进行训练，以实现实时性能。
• 整合文本转语音引擎，使对识别到的标志进行朗读给驾驶员听。
• 将系统作为两个子系统运行：检测/识别和语音叙述。
• 强调驾驶员辅助能力及其与自动驾驶车辆的相关性。

实验结果

研究问题

• RQ1 CNN是否能够在基准数据集上实现实时检测并准确识别交通标志？
• RQ2 系统是否能够通过文本转语音有效地将识别出的标志朗读给驾驶员？
• RQ3 两子系统设计（识别加朗读）是否通过弥补缺失的标志来提高驾驶安全性？
• RQ4 该系统在自动驾驶汽车开发中的潜在适用性是什么？

主要发现

• 开发了一个在基准数据集上用于实时交通标志检测与识别的高效CNN模型。
• 实现了对识别标志的文本转语音朗读，以辅助驾驶员。
• 提出了一个两子系统的系统，能够检测标志并将其朗读给驾驶员。
• 系统设计旨在帮助错过或不理解标志的驾驶员，并支持自动驾驶车辆开发。