[论文解读] Unconventional TV Detection using Mobile Devices

Mohamed Ibrahim, Ahmed Saeed+2 more|arXiv (Cornell University)|May 17, 2013

Music and Audio Processing参考文献 12被引用 3

一句话总结

本文提出了一种基于移动设备的系统，利用智能手机的麦克风和摄像头，通过声学与视觉感知检测电视的存在、电源状态及当前频道。通过融合麦克风与摄像头数据，并结合传感器融合逻辑，该系统在受控环境中实现了0.978的F1值，实现了无需专用硬件的细粒度电视观看上下文检测。

ABSTRACT

Recent studies show that the TV viewing experience is changing giving the rise of trends like "multi-screen viewing" and "connected viewers". These trends describe TV viewers that use mobile devices (e.g. tablets and smart phones) while watching TV. In this paper, we exploit the context information available from the ubiquitous mobile devices to detect the presence of TVs and track the media being viewed. Our approach leverages the array of sensors available in modern mobile devices, e.g. cameras and microphones, to detect the location of TV sets, their state (ON or OFF), and the channels they are currently tuned to. We present the feasibility of the proposed sensing technique using our implementation on Android phones with different realistic scenarios. Our results show that in a controlled environment a detection accuracy of 0.978 F-measure could be achieved.

研究动机与目标

• 解决多屏时代和联网用户背景下，缺乏可扩展的细粒度电视观看上下文检测问题。
• 克服依赖机顶盒或电源泄漏传感器的传统电视检测方法的局限性，这些方法难以扩展。
• 利用无处不在的移动传感器（摄像头、麦克风）检测电视的存在、状态（开/关）及当前频道，无需专用硬件。
• 区分电视音频与视频信号与类似信号源（如笔记本电脑、人说话声或相框）之间的差异，以减少误报。
• 通过本地处理与自适应采样率，实现保护隐私且节能的电视上下文检测。

提出的方法

• 使用智能手机内置麦克风和摄像头，从Android智能手机采集音频与视频传感数据。
• 通过30秒音频片段的频谱特征提取声学指纹，训练集包含91段录音，测试集包含60个独立样本。
• 利用背景减除与轮廓分析检测屏幕上的动态视觉内容，通过轮廓简化与凸包检测筛选矩形区域。
• 应用Ramer-Douglas-Peucker算法减少轮廓点数，并识别四点凸包作为候选矩形。
• 采用逻辑或（OR）规则融合音频与视觉模块的检测结果，优先降低漏报率，决策控制基于传感器采样频率。
• 实现检测决策控制器以管理采样频率与能效，并支持将计算任务卸载至附近设备以节省电池电量。

实验结果

研究问题

• RQ1 在真实环境中，移动设备传感器（麦克风与摄像头）能否可靠检测电视的存在？
• RQ2 声学与视觉特征在多大程度上能够准确区分电视信号与类似信号源（如人说话声或笔记本电脑屏幕）？
• RQ3 音频与视觉检测之间最优的融合策略是什么，以在控制误报率的同时最小化漏报率？
• RQ4 系统在保证高精度的同时，能在多大程度上实现能效与用户隐私保护？
• RQ5 音频采样率与帧捕获频率的变化如何影响检测性能与系统效率？

主要发现

• 声学检测方法实现了0.928的F1值，漏报率为0.13，误报率为零，主要在电视脱口秀与人说话混淆时失败。
• 视觉检测方法实现了0.933的F1值，漏报率为零，误报率为0.125，主要源于对非电视矩形物体的误分类。
• 融合检测方法实现了0.978的F1值，漏报率为零，误报率为0.042，通过传感器融合显著提升了性能。
• 通过基于逻辑或（OR）的融合规则，系统将漏报率最小化，确保即使一个传感器失效，电视仍能被检测到。
• 检测精度对传感器配置敏感：提高音频采样率可减少漏报，增加帧数可提升视觉检测的可靠性。
• 系统通过支持本地处理与匿名化数据转发，实现保护隐私的部署，减少原始传感数据的暴露。