[论文解读] Steps Towards a Theory of Visual Information: Active Perception, Signal-to-Symbol Conversion and the Interplay Between Sensing and Control

Stefano Soatto|arXiv (Cornell University)|Oct 10, 2011

Advanced Vision and Imaging参考文献 155被引用 36

一句话总结

本文提出了一套视觉信息处理的理论框架，统一了主动感知、信号到符号的转换以及感知与控制之间的相互作用。通过引入规范化特征和受控探索策略，该框架在干扰条件下实现了最优决策，为识别与导航提供了任务最优且无损的表征。

ABSTRACT

This manuscript describes the elements of a theory of information tailored to control and decision tasks and specifically to visual data. The concept of Actionable Information is described, that relates to a notion of information championed by J. Gibson, and a notion of "complete information" that relates to the minimal sufficient statistics of a complete representation. It is shown that the "actionable information gap" between the two can be reduced by exercising control on the sensing process. Thus, senging, control and information are inextricably tied. This has consequences in the so-called "signal-to-symbol barrier" problem, as well as in the analysis and design of active sensing systems. It has ramifications in vision-based control, navigation, 3-D reconstruction and rendering, as well as detection, localization, recognition and categorization of objects and scenes in live video. This manuscript has been developed from a set of lecture notes for a summer course at the First International Computer Vision Summer School (ICVSS) in Scicli, Italy, in July of 2008. They were later expanded and amended for subsequent lectures in the same School in July 2009. Starting on November 1, 2009, they were further expanded for a special topics course, CS269, taught at UCLA in the Spring term of 2010.

研究动机与目标

• 将视觉决策形式化为在物理和感知约束下的最优分类任务。
• 通过展示规范化特征如何保持可操作信息，解决信号到符号转换的悖论。
• 将主动感知与控制理论统一，实现减少不确定性的目标导向型视觉探索。
• 提出一种系统化的特征检测与描述子设计方法，以应对光照、视角和运动等干扰因素。
• 通过受控感知与动态探索策略，弥合图像级显著性与场景级导航之间的鸿沟。

提出的方法

• 使用Lambert-Ambient（LA）模型形式化图像形成过程，将场景辐射度与观测强度联系起来。
• 应用边际化与极值化（max-out）方法，在保留决策相关信息的同时降低信号维度。
• 通过最优干扰变换（如刚性运动、光照变化）引入规范化特征，实现不变性与完备性。
• 采用Reeb图与Morse理论表示图像与场景中的拓扑结构，实现鲁棒的分割与特征检测。
• 开发基于回溯时域的视觉探索器，利用遮挡检测与记忆机制，引导主动感知以实现识别。
• 整合时间扭曲与动态约束，以建模时间序列，实现在非刚性或动态场景中的识别。

实验结果

研究问题

• RQ1 如何使信号到符号的转换达到最优，而非如数据处理不等式所暗示的次优？
• RQ2 何种形式条件可确保特征表征对给定视觉决策任务而言既充分又完备？
• RQ3 如何设计视觉探索策略，以主动减少不确定性并提升识别性能？
• RQ4 何种数学结构支撑了干扰因素（如光照、视角）与有意义场景结构之间的解耦？
• RQ5 如何对时变视觉数据进行压缩与表征，以保留对控制与识别有用的信息？

主要发现

• 通过最优干扰边际化导出的规范化特征保留了所有可操作信息，使其在下游分类任务中达到最优。
• 感知与控制之间的相互作用使得主动探索优于被动观测，尤其在遮挡或模糊环境中表现更优。
• 遮挡检测与短视探索策略显著提升了识别准确率，通过聚焦于信息丰富的区域。
• 时间扭曲与动态约束使非刚性或时变场景中的识别更加鲁棒，性能优于静态描述子。
• 该框架为受控感知提供了形式化基础，通过整合任务特定、传感器特定与控制权限特定的约束，推广了主动视觉。
• 该方法通过确保压缩表征在决策任务上保持无损，避免了传统信息瓶颈方法的陷阱。