[论文解读] Probabilistic Threshold Indexing for Uncertain Strings

Sharma V. Thankachan, Manish Patil+2 more|arXiv (Cornell University)|Sep 29, 2015

Data Quality and Management参考文献 4被引用 5

一句话总结

本文提出了首个针对不确定字符串在任意概率阈值参数下的高效子串查询与字符串列举查询的线性空间索引框架。它采用概率阈值索引结合压缩后缀数组与范围最小值查询结构，实现近乎最优的查询时间，支持精确与近似搜索，并在性能与空间复杂度上提供理论保证。

ABSTRACT

Strings form a fundamental data type in computer systems. String searching has been extensively studied since the inception of computer science. Increasingly many applications have to deal with imprecise strings or strings with fuzzy information in them. String matching becomes a probabilistic event when a string contains uncertainty, i.e. each position of the string can have different probable characters with associated probability of occurrence for each character. Such uncertain strings are prevalent in various applications such as biological sequence data, event monitoring and automatic ECG annotations. We explore the problem of indexing uncertain strings to support efficient string searching. In this paper we consider two basic problems of string searching, namely substring searching and string listing. In substring searching, the task is to find the occurrences of a deterministic string in an uncertain string. We formulate the string listing problem for uncertain strings, where the objective is to output all the strings from a collection of strings, that contain probable occurrence of a deterministic query string. Indexing solution for both these problems are significantly more challenging for uncertain strings than for deterministic strings. Given a construction time probability value $τ$, our indexes can be constructed in linear space and supports queries in near optimal time for arbitrary values of probability threshold parameter greater than $τ$. To the best of our knowledge, this is the first indexing solution for searching in uncertain strings that achieves strong theoretical bound and supports arbitrary values of probability threshold parameter. We also propose an approximate substring search index that can answer substring search queries with an additive error in optimal time. We conduct experiments to evaluate the performance of our indexes.

研究动机与目标

• 解决每个字符位置具有多个可能字符及其关联概率的不确定字符串的索引问题。
• 为两个基础问题设计高效的索引解决方案：不确定字符串中的子串搜索与字符串列举。
• 支持任意概率阈值τ，避免在可能的确定性字符串世界中出现指数级膨胀。
• 实现近乎最优的查询时间与线性空间复杂度，并提供构造与查询性能的理论边界。
• 通过在不同字符串长度、不确定性水平与阈值参数下进行大量实验，评估所提索引的实际效率。

提出的方法

• 该方法在字符级别对不确定字符串进行建模，其中每个位置包含一组字符及其关联概率。
• 采用可能世界语义，将有效匹配定义为联合概率超过阈值τ的确定性字符串。
• 基于从不确定字符串派生的扩展最大因子拼接字符串，构建压缩后缀数组（CSA），并使用阈值τ_min限制搜索空间。
• 在后缀数组上构建范围最小值查询（RMQ）结构，以支持子串匹配的快速范围查询。
• 该索引支持每次查询O(m)时间内的精确子串搜索，其中m为查询长度，字符串列举查询时间接近最优。
• 引入一种近似变体，允许查询时间存在加法误差，同时保持最优性能。

实验结果

研究问题

• RQ1 能否设计一种针对不确定字符串的索引结构，支持任意概率阈值τ的高效子串搜索？
• RQ2 如何在不丢失相关匹配的前提下，利用阈值τ减少可能的确定性字符串数量？
• RQ3 能否设计一种支持不确定字符串中精确与近似子串搜索的线性空间索引？
• RQ4 不确定性水平（θ）与阈值（τ）的变化对查询与构造时间有何影响？
• RQ5 能否构建一种实用的索引，支持在概率阈值下从不确定字符串集合中进行字符串列举？

主要发现

• 所提索引的构造时间与不确定字符串长度n成线性关系，空间复杂度受O((1/τ_min)^2 * n)限制。
• 子串搜索的查询时间为O(m)，其中m为查询长度，对任意τ > τ_min实现近乎最优性能。
• 该索引支持从不确定字符串集合中进行字符串列举，查询时间与有效匹配数量及查询长度成正比。
• 实验结果表明，构造时间随字符串长度n线性增长，并因更多排列而随不确定性水平（θ）略有增加。
• 查询时间随τ减小而增加，因为有效匹配数量增多，且对较长查询模式（m）最为敏感。
• 空间使用量约为10.5 * N个字，其中N = O((1/τ_min)^2 * n)，实际开销来自压缩结构与辅助数组。