[论文解读] The Minimal Compression Rate for Similarity Identification

Amir Ingber, Tsachy Weissman|arXiv (Cornell University)|Dec 7, 2013

Algorithms and Data Compression参考文献 35被引用 11

一句话总结

本文在零误报率的约束下，建立了在数据库中使用无损签名可靠识别相似序列所需的最小压缩速率。证明了对于独立同分布（i.i.d.）信源，该最小速率由单字母信息量决定，并表明基于有损压缩的方案在该任务中通常次优。

ABSTRACT

Traditionally, data compression deals with the problem of concisely representing a data source, e.g. a sequence of letters, for the purpose of eventual reproduction (either exact or approximate). In this work we are interested in the case where the goal is to answer similarity queries about the compressed sequence, i.e. to identify whether or not the original sequence is similar to a given query sequence. We study the fundamental tradeoff between the compression rate and the reliability of the queries performed on compressed data. For i.i.d. sequences, we characterize the minimal compression rate that allows query answers, that are reliable in the sense of having a vanishing false-positive probability, when false negatives are not allowed. The result is partially based on a previous work by Ahlswede et al., and the inherently typical subset lemma plays a key role in the converse proof. We then characterize the compression rate achievable by schemes that use lossy source codes as a building block, and show that such schemes are, in general, suboptimal. Finally, we tackle the problem of evaluating the minimal compression rate, by converting the problem to a sequence of convex programs that can be solved efficiently.

研究动机与目标

• 确定在不允许出现误报的数据库相似性查询中，压缩速率的根本极限。
• 在i.i.d.信源假设下，表征确保误报概率趋于零的最小压缩速率。
• 评估基于有损信源编码的方案在相似性识别中的性能，并证明其固有的次优性。
• 通过凸规划开发一种计算高效的最小压缩速率评估方法。

提出的方法

• 使用信息论框架对压缩数据上的相似性查询进行建模，将签名视为原始序列的压缩表示。
• 应用固有典型子集引理推导反向界，证明所推导压缩速率的紧致性。
• 将最小压缩速率表征为涉及互信息和分歧约束的单字母优化问题。
• 将优化问题转化为一系列凸规划，以实现高效计算。
• 通过证明有损信源编码方案无法达到由信息论界导出的最小速率，表明其子优性。
• 引入函数类F'，排除函数矩阵中的冗余行和常数行，证明此类函数在最优性能下已足够。

实验结果

研究问题

• RQ1 允许零误报率的可靠相似性识别所需的最小压缩速率是多少？
• RQ2 最小压缩速率如何随相似性阈值和信源分布变化？
• RQ3 有损信源编码方案能否实现相似性识别的最优压缩速率？
• RQ4 评估最小压缩速率的计算复杂度是多少？能否简化为凸优化？
• RQ5 用于压缩方案的函数类是否存在结构简化，同时保持最优性？

主要发现

• 在零误报率下，相似性识别的最小压缩速率由单字母信息量表征，具体为在分歧约束下的最小互信息。
• 该最小速率严格高于有损信源编码方案可达到的速率，证明此类方案在该任务中通常次优。
• 计算最小速率的问题可简化为求解一系列凸规划，从而实现高效的数值评估。
• 反向证明依赖于固有典型子集引理，该引理在界定错误概率和建立速率区域紧致性方面起关键作用。
• 证明了任何在矩阵表示中包含重复行或常数行的函数，均可被一个受限类F'中的等价函数替代，而不会损失最优性。
• 最优压缩方案要求签名大小随序列长度线性增长，其速率由信源与压缩签名之间的互信息决定。