[论文解读] Task-agnostic Indexes for Deep Learning-based Queries over Unstructured Data.

Daniel Kang, John Guibas+3 more|arXiv (Cornell University)|Sep 9, 2020

Advanced Image and Video Retrieval Techniques参考文献 41被引用 8

一句话总结

本文提出任务无关语义可训练索引（TASTI），一种通过目标DNN的隐含模式从非结构化数据生成可重用、查询无关嵌入的方法。通过聚类这些嵌入，TASTI可在无需为每个查询训练代理模型的情况下，高效处理多样化查询，相比现有代理模型方法，实现高达24倍的查询性能提升和10倍的构建成本降低。

ABSTRACT

Unstructured data is now commonly queried by using target deep neural networks (DNNs) to produce structured information, e.g., object types and positions in video. As these target DNNs can be computationally expensive, recent work uses proxy models to produce query-specific proxy scores. These proxy scores are then used in downstream query processing algorithms for improved query execution speeds. Unfortunately, proxy models are often trained per-query, require large amounts of training data from the target DNN, and new training methods per query type. In this work, we develop an index construction method (task-agnostic semantic trainable index, TASTI) that produces reusable embeddings that can be used to generate proxy scores for a wide range of queries, removing the need for query-specific proxies. We observe that many queries over the same dataset only require access to the schema induced by the target DNN. For example, an aggregation query counting the number of cars and a selection query selecting frames of cars require only the object types per frame of video. To leverage this opportunity, TASTI produces embeddings per record that have the key property that close embeddings have similar extracted attributes under the induced schema. Given this property, we show that clustering by embeddings can be used to answer downstream queries efficiently. We theoretically analyze TASTI and show that low training error guarantees downstream query accuracy for a natural class of queries. We evaluate TASTI on four video and text datasets, and three query types. We show that TASTI can be 10x less expensive to construct than proxy models and can outperform them by up to 24x at query time.

研究动机与目标

• 消除在基于深度学习的非结构化数据查询中对查询特定代理模型的需求。
• 解决现有代理模型因每个查询单独训练而导致的高训练成本和数据需求问题。
• 开发一种可重用索引，从目标DNN中捕获语义结构，以实现广泛的查询兼容性。
• 通过聚类学习到的嵌入来实现高效查询处理，同时保留与模式相关的属性。
• 在自然查询类别下，通过低训练误差理论保证查询的准确性。

提出的方法

• TASTI利用目标DNN的特征空间，为非结构化数据记录学习一个单一、共享的嵌入函数。
• 通过训练使语义上相似的记录（基于DNN提取的属性）具有接近的向量表示。
• 该方法利用目标DNN生成的隐含模式——如视频帧中的对象类型和位置——来定义相关的语义结构。
• 对学习到的嵌入应用聚类，将具有相似属性的记录分组，从而实现高效的查询处理。
• 在训练过程中使用对比损失目标，强制在隐含模式下共享属性的记录的嵌入保持接近。
• 该索引可跨多种查询类型（包括选择、聚合和范围查询）重复使用，无需重新训练。

实验结果

研究问题

• RQ1 能否构建一个单一、可重用的嵌入索引，以在无需为每个查询训练代理模型的情况下，支持对非结构化数据的多样化查询？
• RQ2 所学习嵌入的质量如何影响下游查询的准确性和效率？
• RQ3 与训练查询特定代理模型相比，索引构建成本能否显著降低？
• RQ4 在查询处理流水线中，对嵌入进行聚类在多大程度上可替代查询特定的代理推理？
• RQ5 能否基于嵌入训练误差，为查询准确性提供理论保证？

主要发现

• 与训练查询特定代理模型相比，TASTI将索引构建成本降低了最多10倍。
• 在相同工作负载下，TASTI的查询执行速度相比基于代理模型的方法最高提升24倍。
• 该方法保持了高查询准确性，且理论保证了低嵌入训练误差与下游查询正确性之间的关联。
• TASTI在四个视频和文本数据集及三种查询类型上均表现出一致的性能提升。
• 对TASTI嵌入进行聚类，可在无需重新训练的情况下，高效处理选择、聚合和范围查询。
• 该方法对查询多样性具有鲁棒性，因为嵌入在无需查询特定适配的情况下，即可捕获与模式相关的属性。