[论文解读] Towards a Drone Cinematographer: Guiding Quadrotor Cameras using Visual Composition Principles

N. Joubert, Jane L. E+5 more|arXiv (Cornell University)|Oct 5, 2016

Robotic Path Planning Algorithms参考文献 27被引用 51

一句话总结

本文提出了一套端到端系统，通过运用电影构图原则，自主引导四旋翼摄像机在户外环境中捕捉两名人物的构图良好视频。通过利用RTK GPS实现厘米级精准跟踪，并结合一种新颖的轨迹规划算法以确保安全与视觉吸引力，该系统实现了精确的镜头定位与平滑的镜头过渡，其精度和屏幕空间稳定性显著优于传统GPS。

ABSTRACT

We present a system to capture video footage of human subjects in the real world. Our system leverages a quadrotor camera to automatically capture well-composed video of two subjects. Subjects are tracked in a large-scale outdoor environment using RTK GPS and IMU sensors. Then, given the tracked state of our subjects, our system automatically computes static shots based on well-established visual composition principles and canonical shots from cinematography literature. To transition between these static shots, we calculate feasible, safe, and visually pleasing transitions using a novel real-time trajectory planning algorithm. We evaluate the performance of our tracking system, and experimentally show that RTK GPS significantly outperforms conventional GPS in capturing a variety of canonical shots. Lastly, we demonstrate our system guiding a consumer quadrotor camera autonomously capturing footage of two subjects in a variety of use cases. This is the first end-to-end system that enables people to leverage the mobility of quadrotors, as well as the knowledge of expert filmmakers, to autonomously capture high-quality footage of people in the real world.

研究动机与目标

• 实现自主、高质量的四旋翼摄像机在户外环境中对两名人类目标的视频捕捉。
• 将既定的电影镜头类型与构图规则应用于真实世界的无人机电影拍摄。
• 通过在飞行过程中强制执行最小距离（安全球体）约束，确保飞行安全。
• 开发一种实时轨迹规划算法，生成视觉上悦目且物理上可行的镜头间过渡。
• 证明RTK GPS在实现精确镜头构图和最小化屏幕空间误差方面优于传统GPS。

提出的方法

• 系统使用实时动态（RTK）GPS与IMU传感器，以厘米级精度跟踪四旋翼飞行器及两名目标。
• 基于视觉构图原则，利用标准电影镜头类型（如顶点、内部、外部镜头）计算静态摄像机镜头。
• 提出一种新颖的实时轨迹规划算法，生成C⁴连续、动态可行的路径，在尊重安全球体约束的同时保持视觉构图。
• 该规划器确保四旋翼飞行器在飞行过程中始终与目标保持最小距离，防止碰撞。
• 镜头间的过渡计算确保视觉平滑且动态可行，同时遵守四旋翼的速度与加速度限制。
• 系统融合RTK GPS、IMU与气压计数据，以实现飞行过程中的鲁棒定位。

实验结果

研究问题

• RQ1 RTK GPS是否能够提供足够精确的定位，以支持四旋翼电影拍摄中精确且构图有效的镜头定位？
• RQ2 如何在确保物理可行性和目标安全的前提下，生成视觉上悦目的标准镜头间过渡？
• RQ3 在保持正确目标构图和最小化屏幕空间误差方面，RTK GPS相较于传统GPS的性能优势有多大？
• RQ4 四旋翼飞行器是否能够仅依靠构图规则与传感器反馈，无需人工操控，自主捕捉构图良好的人物视频？
• RQ5 如何在不损害视觉质量的前提下，将安全约束（如与目标的最小距离）整合到轨迹规划中？

主要发现

• 与传统GPS相比，RTK GPS将位置误差降低了1至2个数量级，实现了亚2厘米的精度。
• 使用RTK GPS时，四旋翼飞行器在95%的飞行时间内与目标位置的偏差保持在0.35米以内，而传统GPS则为1.05米。
• 传统GPS导致不可接受的屏幕空间误差——可能导致目标位于画面中央附近或偏移至画面一半处——因此不适合用于精确的镜头构图。
• 系统成功捕捉了多种真实场景，包括自拍、接球、毕业典礼和舞蹈表演，镜头定位准确且构图良好。
• 新颖的轨迹规划算法生成了视觉上悦目、安全且动态可行的镜头间过渡，同时保持了目标构图与安全约束。
• 结果验证了厘米级定位对于在真实世界无人机拍摄中可靠应用电影构图原则至关重要。