[论文解读] The Tower of Babel Meets Web 2.0: User-Generated Content and its Applications in a Multilingual Context

Brent Hecht, Darren Gergle|arXiv (Cornell University)|Apr 2, 2019

Wikis in Education and Collaboration参考文献 26被引用 25

一句话总结

本文通过分析25个维基百科语言版本，研究用户生成内容中的语言和文化多样性，揭示了不同语言间知识表征的显著差异。研究发现，这种多样性不仅限于翻译差异，还显著影响多语言应用，并提出可利用这种多样性来构建具有文化意识和超语言能力的系统。

ABSTRACT

This study explores language's fragmenting effect on user-generated content by examining the diversity of knowledge representations across 25 different Wikipedia language editions. This diversity is measured at two levels: the concepts that are included in each edition and the ways in which these concepts are described. We demonstrate that the diversity present is greater than has been presumed in the literature and has a significant influence on applications that use Wikipedia as a source of world knowledge. We close by explicating how knowledge diversity can be beneficially leveraged to create "culturally-aware applications" and "hyperlingual applications".

研究动机与目标

• 考察语言特定的文化和语言视角如何塑造用户生成内容中的知识表征。
• 量化多语言维基百科版本中概念及其描述的多样性程度。
• 评估这种多样性对依赖维基百科作为世界知识来源的应用的影响。
• 探索如何设计应用以利用语言和文化多样性，而非将其视为噪声。
• 提出新的应用范式——'具有文化意识'和'超语言'——以从多语言知识差异中获益。

提出的方法

• 对25个维基百科语言版本在多个语言组中的系统性比较。
• 识别并分析仅在一个版本中存在而其他版本中缺失的独特概念。
• 检查共享概念在不同语言版本中的描述方式差异（如结构、深度、焦点）。
• 利用语言和文化元数据，将内容差异与社会语言因素相关联。
• 应用自然语言处理技术以检测和分类表征差异。
• 开发一种框架，用于识别和在系统设计中利用多语言知识多样性。

实验结果

研究问题

• RQ1 不同维基百科语言版本在概念集合上有多大的差异？
• RQ2 在内容、结构和焦点方面，共享概念在不同语言版本中的描述方式有何差异？
• RQ3 这种知识多样性对依赖维基百科作为知识来源的多语言应用有何影响？
• RQ4 如何设计应用以从用户生成内容中的语言和文化差异中受益，而非受其阻碍？
• RQ5 哪些设计原则可支持利用多语言知识构建'超语言'和'具有文化意识'的应用？

主要发现

• 不同维基百科语言版本所涵盖的概念集合存在显著分歧，许多概念仅出现在一种或少数几种语言中。
• 即使对于共享概念，其描述方式在深度、结构和文化框架方面在不同语言间也存在广泛差异。
• 知识表征的多样性超出了多语言自然语言处理应用中通常的假设。
• 这种多样性对将维基百科作为通用知识源的应用构成挑战，尤其在跨语言任务中。
• 这种差异可系统性地加以利用，以构建整合多种语言视角的超语言系统。
• 通过嵌入特定语言的知识表征，可开发具有文化意识的应用，以提升相关性和包容性。