[论文解读] Understanding Time Variations of DNN Inference in Autonomous Driving

Liangkai Liu, Yanzhi Wang+1 more|arXiv (Cornell University)|Sep 12, 2022

Autonomous Vehicle Technology and Safety被引用 10

一句话总结

本文对自动驾驶系统中深度神经网络（DNN）推理的时间变化进行了细粒度分析，识别出数据、I/O、模型、运行时、硬件和端到端系统因素六个层面的根本原因。研究发现，由于系统级交互，特别是基于ROS的中间件，DNN推理延迟可能超过4,000ms，第99百分位延迟超过1,000ms，提出了减少可变性的见解，以优化实时调度。

ABSTRACT

Deep neural networks (DNNs) are widely used in autonomous driving due to their high accuracy for perception, decision, and control. In safety-critical systems like autonomous driving, executing tasks like sensing and perception in real-time is vital to the vehicle's safety, which requires the application's execution time to be predictable. However, non-negligible time variations are observed in DNN inference. Current DNN inference studies either ignore the time variation issue or rely on the scheduler to handle it. None of the current work explains the root causes of DNN inference time variations. Understanding the time variations of the DNN inference becomes a fundamental challenge in real-time scheduling for autonomous driving. In this work, we analyze the time variation in DNN inference in fine granularity from six perspectives: data, I/O, model, runtime, hardware, and end-to-end perception system. Six insights are derived in understanding the time variations for DNN inference.

研究动机与目标

• 识别并分析安全关键型自动驾驶系统中DNN推理时间非可忽略变化的根本原因。
• 理解DNN推理时间变化对实时调度和系统可预测性的影响。
• 研究多个感知模块和通信中间件在端到端感知流水线中延迟变化的累积效应。
• 提供可操作的见解，以减少DNN推理时间的可变性，提升调度效率与安全性。

提出的方法

• 对六个维度（数据、I/O、模型、运行时、硬件和端到端感知系统）的DNN推理时间变化进行了细粒度分析。
• 在真实自动驾驶工作负载下，测量了多种DNN模型（如YOLOv3、Deeplabv3、LaneNet等）的推理延迟。
• 使用ROS实现端到端感知系统，以评估系统级延迟和同步延迟。
• 记录并分析了感知模块与融合节点之间的消息延迟，以量化通信引起的延迟变化。
• 评估了ROS同步器中缓冲队列大小对延迟变化和尾部延迟的影响。
• 采用统计分析方法（如第99百分位、变异系数）量化不同系统组件的时间变化。

实验结果

研究问题

• RQ1 自动驾驶系统中DNN推理时间变化的主要来源是什么？
• RQ2 并发任务和通信中间件（如ROS）如何导致端到端延迟变化？
• RQ3 单个感知模块中的时间变化在多模块端到端系统中累积到何种程度？
• RQ4 消息同步器中缓冲大小的选择如何影响感知流水线中的延迟可变性？
• RQ5 系统级因素（如I/O、硬件、运行时）对DNN推理时间可预测性有何影响？

主要发现

• 大多数模型的DNN推理时间变化超过100ms，某些情况下高达4,000ms，显著影响实时安全性。
• 在端到端系统中，YOLOv3和Deeplabv3的第99百分位延迟高于其单个模块的延迟，这是由于并发任务导致的延迟累积。
• 基于ROS的通信中间件引入了巨大的尾部延迟，最坏情况下融合消息延迟超过10,000ms（10秒）。
• 在100个缓冲队列大小下，融合消息的平均延迟和最小延迟分别为773ms和242ms，表明存在严重不可预测性。
• 将同步器中的缓冲大小从100增加到1,000，可降低延迟变化，证明了该方法可缓解通信引起的抖动。
• 变异系数（Cv）分析表明，基于DNN的模块延迟可变性显著高于非DNN系统（如ORB-SLAM2）。