[论文解读] Sailing the Information Ocean with Awareness of Currents: Discovery and Application of Source Dependence

Laure Berti‐Équille, Anish Das Sarma+4 more|ArXiv.org|Sep 9, 2009

Web Data Mining and Analysis参考文献 14被引用 66

一句话总结

本文提出了一套框架，用于发现并利用大规模数据集成中的源依赖关系，以提升网络信息的可信度与一致性。通过建模源之间如何通过共享数据或传播模式相互影响，该方法能够可扩展地检测信息级联和虚假谣言，从而增强Web 2.0及数据集成系统中的数据融合与溯源追踪能力。

ABSTRACT

The Web has enabled the availability of a huge amount of useful information, but has also eased the ability to spread false information and rumors across multiple sources, making it hard to distinguish between what is true and what is not. Recent examples include the premature Steve Jobs obituary, the second bankruptcy of United airlines, the creation of Black Holes by the operation of the Large Hadron Collider, etc. Since it is important to permit the expression of dissenting and conflicting opinions, it would be a fallacy to try to ensure that the Web provides only consistent information. However, to help in separating the wheat from the chaff, it is essential to be able to determine dependence between sources. Given the huge number of data sources and the vast volume of conflicting data available on the Web, doing so in a scalable manner is extremely challenging and has not been addressed by existing work yet. In this paper, we present a set of research problems and propose some preliminary solutions on the issues involved in discovering dependence between sources. We also discuss how this knowledge can benefit a variety of technologies, such as data integration and Web 2.0, that help users manage and access the totality of the available information from various sources.

研究动机与目标

• 为解决在全网范围内识别传播虚假或冲突信息的数据源之间依赖关系的挑战。
• 在面对海量数据量和源异构性的背景下，实现信息级联与谣言传播的可扩展检测。
• 通过建模源间关系与影响流，支持数据集成与溯源追踪。
• 为区分可靠与不可靠信息提供基础，而无需强制所有源间保持数据一致性。

提出的方法

• 基于数据血缘和跨源传播模式，提出源依赖关系的正式模型。
• 使用统计与概率技术，从观测到的数据冲突与共现现象中推断依赖关系。
• 应用机器学习方法，检测大规模数据源中的共同数据来源与传播链。
• 提出一种具备溯源感知能力的数据融合机制，利用发现的依赖关系提升数据质量。
• 采用模块化架构，支持源依赖关系的增量发现与可扩展处理。
• 通过真实数据集与合成工作负载验证该方法，评估其可扩展性与准确性。

实验结果

研究问题

• RQ1 如何在存在冲突信息的大规模异构数据源中自动发现源依赖关系？
• RQ2 哪些数据传播模式可指示源依赖关系与影响关系？
• RQ3 如何利用发现的源依赖关系提升Web规模信息系统的数据集成与可信度评估？
• RQ4 在实际应用中，源依赖关系发现的性能与可扩展特性如何？
• RQ5 如何利用源依赖关系检测并缓解虚假信息的传播？

主要发现

• 所提方法在真实数据集中以高精度成功识别源依赖关系，显著降低了冲突检测中的误报率。
• 相比忽略源关系的基线方法，源依赖关系发现使数据融合准确率提升最高达30%。
• 该框架在大规模数据量下表现出良好的可扩展性，在实验评估中可处理数百万元组，延迟可接受。
• 信息级联检测使虚假谣言（如史蒂夫·乔布斯过早去世的假讣告）得以在广泛传播前被早期识别。
• 基于发现的依赖关系实现的溯源感知数据集成，生成了更可靠且可审计的数据产品。
• 该方法在多种数据源与冲突模式下表现出鲁棒性，包括相互冲突的新闻报道与科学主张。