[论文解读] OODIDA: On-board/Off-board Distributed Data Analytics for Connected Vehicles

Gregor Ulm, Emil Gustavsson+1 more|arXiv (Cornell University)|Feb 1, 2019

Distributed systems and fault tolerance参考文献 22被引用 4

一句话总结

OODIDA 是一个可扩展的、用于车联网的车载/车外分布式数据分析平台，支持在资源受限的边缘设备上高效分配任务并实现并发处理。该平台基于 Erlang/OTP 构建，支持跨语言的端点，即使在客户端资源有限的情况下，也能有效处理大规模数据工作负载。

ABSTRACT

Connected vehicles may produce gigabytes of data per hour, which makes centralized data processing impractical at the fleet level. In addition, there are the problems of distributing tasks to edge devices and processing them efficiently. Our solution to this problem is OODIDA (On-board/off-board Distributed Data Analytics), which is a platform that tackles both task distribution to connected vehicles as well as concurrent execution of large-scale tasks on arbitrary subsets of clients. Its message-passing infrastructure has been implemented in Erlang/OTP, while the end points are language-agnostic. OODIDA is highly scalable and able to process a significant volume of data on resource-constrained clients.

研究动机与目标

• 解决在大规模场景下处理车联网生成的海量数据的挑战。
• 实现在异构、资源受限的边缘设备上高效分配和执行数据分析任务。
• 设计一种系统，支持在任意数量的车联网设备子集中实现并发处理。
• 确保在真实车队级部署中具备高可扩展性和高性能。
• 提供灵活、跨语言的架构，以集成多样化的数据处理工作负载。

提出的方法

• OODIDA 采用基于 Erlang/OTP 实现的消息传递基础设施，用于管理车辆与车外服务器之间的通信与协调。
• 通过根据可用性和能力动态选择部分连接车辆，实现任务向车载设备的分发。
• 平台支持在选定车辆上并发执行数据分析任务，充分利用其计算能力。
• 端点设计为跨语言无关，支持与多样化数据处理流水线的集成。
• 系统采用水平可扩展架构，能够处理车队范围内的大规模数据工作负载。
• 通过轻量级、高效的任务执行和消息处理机制，缓解车辆上的资源限制。

实验结果

研究问题

• RQ1 如何在计算资源有限的车联网车队中，高效地分配数据分析任务？
• RQ2 何种架构能够支持在任意车辆子集上大规模并发执行数据分析？
• RQ3 当每辆车每小时处理数GB数据时，分布式系统如何保持可扩展性和可靠性？
• RQ4 跨语言接口在实现多样化数据处理组件之间互操作性方面发挥什么作用？
• RQ5 Erlang/OTP 的使用如何提升车载边缘环境中故障容错性和消息传递效率？

主要发现

• OODIDA 有效实现了在车联网车队中的分布式数据分析，即使在资源受限条件下也能处理大规模数据工作负载。
• 由于基于 Erlang/OTP 的消息传递架构，平台展现出高可扩展性，支持高效的并发处理和故障容错。
• 通过将处理任务卸载到车载设备，OODIDA 减少了对集中式数据中心的依赖，提升了系统韧性并降低了延迟。
• 跨语言设计支持多样化的数据处理模块无缝集成，增强了系统的可扩展性和互操作性。
• OODIDA 实现了在任意车辆子集上的高效并发数据分析任务执行，支持灵活且动态的工作负载分配。
• 该系统具备在边缘设备上处理大量数据的能力，验证了其在车联网生态系统中实际部署的可行性。