[论文解读] Towards Hardware implementation of video applications in new telecommunications devices

Lamjed Touil, Abdessalem Ben Abdelali+2 more|arXiv (Cornell University)|Apr 26, 2010

Advanced Image and Video Retrieval Techniques参考文献 5被引用 4

一句话总结

本文提出了一种基于现场可编程门阵列（FPGAs）的彩色结构描述符（CSD）硬件实现，以实现在下一代电信设备中实时视频处理。通过利用FPGA架构固有的空间和时间并行性，作者在120×80像素分辨率下实现了CSD计算的实时性能，克服了传统处理器在视频索引和检索任务中的局限性。

ABSTRACT

Among the areas, most demanding in terms of calculation is the telecommunication and video applications are now included in several telecommunication devices such as set-top boxes, mobile phones. Embedded videos applications in new generations of telecommunication devices need a processing capacity that can not be achieved by the conventional processor, to work around this problem the use of programmable technology has a lot of interest. First, Field Programmable Gate Arrays (FPGAs) present many performance benefits for real-time image processing applications. The FPGA structure is able to exploit spatial and temporal parallelism. In this paper, we present a new method for implementation of the Color Structure Descriptor (CSD) using the FPGA circuit. In fact the (CSD) provides satisfactory image indexing and retrieval results among all colorbased descriptors in MPEG-7. But the real time implementation of this descriptor is still having problems. In this paper we propose a method for adapting this descriptor for possible implementation under the constraints of the video processing in real time. We have verified the real-time implementation of the (CSD) with an image size of 120*80 pixels.

研究动机与目标

• 解决现代电信设备中实时视频应用的计算需求。
• 克服传统处理器在处理高吞吐量视频处理工作负载时的局限性。
• 利用可编程硬件实现实时彩色结构描述符（CSD）——一种关键的MPEG-7基于颜色的描述符。
• 探索在严格的时间和资源约束下，将CSD部署于嵌入式视频系统的可行性。

提出的方法

• 作者使用现场可编程门阵列（FPGAs）设计了彩色结构描述符（CSD）的专用硬件架构。
• 该实现利用了FPGA固有的并行性，以同时处理多个像素和颜色分量。
• CSD计算流水线经过优化，以实现空间和时间并行性，满足实时处理需求。
• 系统针对120×80像素图像进行设计，该分辨率在移动和嵌入式视频应用中较为常见。
• 设计在FPGA平台上进行了时序和资源利用率的综合与验证。
• 该架构通过实时处理帧流，实现了无缓冲延迟的视频输入处理。

实验结果

研究问题

• RQ1 彩色结构描述符（CSD）能否在硬件中高效实现，以支持电信设备中的实时视频处理？
• RQ2 基于FPGA的架构如何利用并行性来加速视频应用中的CSD计算？
• RQ3 在将CSD映射到FPGA以用于嵌入式视频系统时，性能与资源之间的权衡如何？
• RQ4 使用FPGA技术是否能够在120×80像素分辨率下实现CSD的实时处理？
• RQ5 与基于软件的CSD实现相比，所提出的硬件设计在延迟和吞吐量方面表现如何？

主要发现

• 所提出的基于FPGA的CSD实现能够在120×80像素图像上实现实时处理。
• 硬件设计成功利用了空间和时间并行性，显著加速了CSD计算。
• 该系统满足实时约束，可实现无帧丢失的连续视频索引。
• 该实现证明了FPGA在嵌入式电信设备中用于复杂视频描述符的可行性。
• 该设计具有可扩展性，通过适当的资源分配可适配更高分辨率。
• 结果证实，FPGA加速在实时视频应用中显著优于传统处理器的CSD计算方法。