[论文解读] Similarity of Objects and the Meaning of Words

Rudi Cilibrasi, Paul Vitányi|UvA-DARE (University of Amsterdam)|Feb 17, 2006

linguistics and terminology studies被引用 31

一句话总结

本文提出了一种基于压缩的柯尔莫哥洛夫复杂度和基于网络的谷歌距离（NGD）的通用、无参数相似度度量方法，适用于对象的相似性度量，无需预先进行特征工程，可实现稳健的跨领域数据聚类与语义分析。在学习 WordNet 类别时，平均准确率达到 87.25%，与人工标注的语义高度一致。

ABSTRACT

We survey the emerging area of compression-based, parameter-free, similarity distance measures useful in data-mining, pattern recognition, learning and automatic semantics extraction. Given a family of distances on a set of objects, a distance is universal up to a certain precision for that family if it minorizes every distance in the family between every two objects in the set, up to the stated precision (we do not require the universal distance to be an element of the family). We consider similarity distances for two types of objects: literal objects that as such contain all of their meaning, like genomes or books, and names for objects. The latter may have literal embodyments like the first type, but may also be abstract like ``red'' or ``christianity.'' For the first type we consider a family of computable distance measures corresponding to parameters expressing similarity according to particular featuresdistances generated by web users corresponding to particular semantic relations between the (names for) the designated objects. For both families we give universal similarity distance measures, incorporating all particular distance measures in the family. In the first case the universal distance is based on compression and in the second case it is based on Google page counts related to search terms. In both cases experiments on a massive scale give evidence of the viability of the approaches. between pairs of literal objects. For the second type we consider similarity

研究动机与目标

• 开发一种通用的、无参数的相似度度量方法，能够捕捉不同数据类型中的所有有效距离度量方式，而无需依赖领域特定的特征。
• 通过在单一框架下统一相似度度量，弥合真实数据（如基因组、文本）与抽象名称（如“红色”、“基督教”）之间的差距。
• 在真实世界数据上评估基于压缩和基于网络的相似度度量方法的有效性，特别是在语义分类任务中的表现。
• 通过与专家标注的语义资源（如 WordNet）对比，验证所提方法与人类构建的语义层级的一致性。

提出的方法

• 基于柯尔莫哥洛夫复杂度使用归一化压缩距离（NCD）计算基因组或文本等真实对象之间的相似度，将压缩效率作为共享信息的代理指标。
• 利用谷歌页面计数计算词语名称之间的归一化谷歌距离（NGD），通过搜索频率推断网络规模下的语义相关性。
• 对 NCD 和 NGD 矩阵应用快速启发式四元组方法的层次聚类，以可视化和分组相似的对象或术语。
• 为每个术语使用 6 个锚点的 NGD 向量表示，其中每个分量为该术语与预定义锚点集之间的 NGD，从而支持基于 SVM 的分类。
• 通过五折交叉验证自动调优 SVM 超参数（核宽度和误差成本），以优化分类性能。
• 重用预先计算的谷歌搜索计数（包括锚点和单个术语），以减少冗余查询，将计算成本降低高达 90%。

实验结果

研究问题

• RQ1 基于压缩的通用、无参数相似度度量是否能有效捕捉不同数据领域中的多种相似性类型（如编辑距离、对齐距离、Lempel-Ziv 距离）？
• RQ2 基于网络搜索频率的 NGD 在多大程度上能准确反映词语名称之间的人工构建的语义关系？
• RQ3 与专家标注的语义资源（如 WordNet）相比，所提方法在学习和分类语义类别（如“电气”）方面的表现如何？
• RQ4 当应用于大规模真实世界数据（如文化遗产文本或多样化语义类别）时，该方法的可扩展性和鲁棒性如何？
• RQ5 当面对模糊术语（如“尤利乌斯·凯撒”）时，该方法是否能通过利用周围对象的上下文保持高准确率？

主要发现

• 基于压缩的 NCD 方法在无需特征工程的情况下，成功聚类了多种数据类型（音乐、文本、基因组），在不同领域中表现出稳健性。
• 基于 NGD 的方法在使用 SVM 进行语义类别分类时，平均准确率达到 87.25%，标准差约为 0.1169，表明性能稳定一致。
• 在“电气”类别的受控实验中，该方法对所有测试样本的分类准确率达到 100%，显示出对无歧义语义类别的高精度。
• 即使面对“尤利乌斯·凯撒”等模糊术语，系统依然有效，其中周围对象的上下文决定了语义含义。
• 100 次实验所需的谷歌搜索总数被限制在 49,600 次以内，通过查询缓存和重用显著提升了计算效率。
• 该方法与 WordNet（黄金标准语义资源）表现出高度一致性，验证了其在自动语义提取与学习中的有效性。