[论文解读] Opportunistic Content Search of Smartphone Photos

Ardalan Amiri Sani, W. Richter+5 more|arXiv (Cornell University)|Jun 28, 2011

Advanced Image and Video Retrieval Techniques参考文献 18被引用 5

一句话总结

Theia 是一个用于智能手机照片的分布式、机会性内容搜索系统，通过两项创新实现搜索成本和能耗的降低：增量搜索（Incremental Search），即通过用户反馈逐步扩展搜索范围；分区搜索（Partitioned Search），即将计算任务卸载到云端。通过用户研究、测量实验和实地研究评估，Theia 相较于纯本地或纯云端策略，将每张相关照片的搜索成本降低 59%，能耗最高降低 81%，并可在数秒内返回结果。

ABSTRACT

Photos taken by smartphone users can accidentally contain content that is timely and valuable to others, often in real-time. We report the system design and evaluation of a distributed search system, Theia, for crowd-sourced real-time content search of smartphone photos. Because smartphones are resource-constrained, Theia incorporates two key innovations to control search cost and improve search efficiency. Incremental Search expands search scope incrementally and exploits user feedback. Partitioned Search leverages the cloud to reduce the energy consumption of search in smartphones. Through user studies, measurement studies, and field studies, we show that Theia reduces the cost per relevant photo by an average of 59%. It reduces the energy consumption of search by up to 55% and 81% compared to alternative strategies of executing entirely locally or entirely in the cloud. Search results from smartphones are obtained in seconds. Our experiments also suggest approaches to further improve these results.

研究动机与目标

• 为解决用户偶然拍摄的智能手机照片中及时、有价值内容的发现挑战。
• 降低在资源受限的智能手机上搜索照片所带来的高能耗与高计算成本。
• 通过利用众包、机会性照片共享与搜索，实现实时内容发现。
• 设计一种系统，平衡本地与云端处理，以最小化能耗与成本，同时保持低延迟结果。

提出的方法

• 增量搜索（Incremental Search）通过用户反馈动态扩展搜索范围，优先处理相关结果，避免不必要的计算。
• 分区搜索（Partitioned Search）将搜索工作负载在智能手机与云端之间划分，将计算密集型任务卸载至云端，以减少智能手机的能耗。
• 系统采用混合架构，智能手机负责轻量级索引与初步过滤，云端则处理图像相似性匹配与全文检索等重负载任务。
• 用户反馈被迭代式集成，以优化搜索相关性并减少后续查询中的误报。
• 系统利用智能手机现有的传感器与网络连接，在网络条件有利时，机会性地上传并索引照片。
• 成本模型指导本地处理与云端卸载之间的权衡，以最小化每张相关照片的能耗与货币成本。

实验结果

研究问题

• RQ1 在设备资源受限的条件下，如何使智能手机照片中的内容搜索实现高效且可扩展？
• RQ2 本地与云端处理之间应如何达到最优平衡，以最小化照片搜索的能耗？
• RQ3 结合用户反馈的增量搜索能否在降低搜索成本的同时提升相关性？
• RQ4 与纯本地或纯云端搜索相比，分区搜索在能耗与成本效率方面表现如何？
• RQ5 在真实环境中，机会性照片内容搜索可实现哪些性能提升？

主要发现

• 与基线策略相比，Theia 平均将每张相关照片的搜索成本降低 59%。
• 与纯本地搜索相比，能耗降低最高达 55%；与纯云端搜索相比，能耗最高降低 81%。
• 搜索结果在数秒内返回，支持对照片中及时内容的实时发现。
• 用户研究证实，结合反馈的增量搜索可提升相关性并减少不必要的处理。
• 实地研究显示，该系统在真实网络与设备约束条件下仍能有效运行。
• 通过增强反馈机制与自适应工作负载分区，系统展现出显著的进一步优化潜力。