[论文解读] Normalized Information Distance

Paul Vitányi, Frank J. Balbach+2 more|ArXiv.org|Sep 15, 2008

Algorithms and Data Compression参考文献 3被引用 5

一句话总结

本文提出了归一化信息距离（NID），一种基于柯尔莫哥洛夫复杂性的通用相似性度量方法，可实现无需特征工程、无需参数调优的数据挖掘。该方法通过使用压缩算法和网页计数等实用近似方法，将NID应用于生物信息学、音乐和机器翻译等多样化领域中的聚类与机器学习任务。

ABSTRACT

The normalized information distance is a universal distance measure for objects of all kinds. It is based on Kolmogorov complexity and thus uncomputable, but there are ways to utilize it. First, compression algorithms can be used to approximate the Kolmogorov complexity if the objects have a string representation. Second, for names and abstract concepts, page count statistics from the World Wide Web can be used. These practical realizations of the normalized information distance can then be applied to machine learning tasks, expecially clustering, to perform feature-free and parameter-free data mining. This chapter discusses the theoretical foundations of the normalized information distance and both practical realizations. It presents numerous examples of successful real-world applications based on these distance measures, ranging from bioinformatics to music clustering to machine translation.

研究动机与目标

• 建立一种理论上通用的距离度量方法，适用于所有类型对象，无论其表示方式或领域如何。
• 通过利用压缩技术和基于网络的统计信息，提出实用近似方法，解决柯尔莫哥洛夫复杂性的不可计算性问题。
• 实现无需特征工程和参数调优的聚类与数据挖掘，无需事先掌握领域特定知识。
• 在从生物信息学到音乐分析等多样化实际应用中，展示NID的有效性。
• 提供一种统一框架，基于信息论原理比较对象，而非依赖手工设计的特征。

提出的方法

• 使用无损压缩算法（如gzip或bzip2）近似柯尔莫哥洛夫复杂性，以估计字符串的算法信息含量。
• 将归一化信息距离（NID）定义为基于柯尔莫哥洛夫复杂性的归一化版本：NID(x,y) = max{C(x|y), C(y|x)} / max{C(x), C(y)}。
• 利用搜索引擎的网页计数结果，估计名称和抽象概念的算法概率，从而实现对非字符串对象的NID计算。
• 通过将NID度量作为无监督学习流程中的相似性度量，将其应用于聚类任务。
• 利用基于压缩的近似方法，使NID可计算并适用于实际数据挖掘应用。
• 通过在多样化领域中的实证应用验证该方法，展示其方法的鲁棒性与通用性。

实验结果

研究问题

• RQ1 能否定义一种适用于所有类型数据对象的通用相似性度量，无论其本质或表示方式如何？
• RQ2 如何有效近似不可计算的柯尔莫哥洛夫复杂性，以实现其在数据分析中的实际应用？
• RQ3 压缩算法和网络统计数据在多大程度上可作为算法信息含量的可靠代理？
• RQ4 基于NID的聚类是否能在无需特征工程或参数调优的情况下实现有意义的结果？
• RQ5 与现有方法相比，NID在生物信息学、音乐和机器翻译等多样化领域中的表现如何？

主要发现

• 归一化信息距离提供了理论基础坚实的通用相似性度量，且对通用图灵机的选择具有不变性。
• 基于压缩的NID近似方法在实际应用中产生了有效且鲁棒的聚类结果，包括DNA序列分析和音乐流派分类。
• 网页计数统计数据使NID能够用于名称和抽象概念的计算，从而扩展了其在字符串以外对象上的适用范围。
• 该方法实现了无需特征工程和参数调优的数据挖掘，减少了对领域特定知识和人工特征工程的依赖。
• 实证结果表明，基于NID的聚类在机器翻译评估和系统发育树重建等任务中，性能优于或至少不逊于传统方法。
• 该方法具有可扩展性和实用性，已在生物信息学、音乐和自然语言处理等多样化领域成功部署。