[论文解读] QURATOR: Innovative Technologies for Content and Data Curation

Georg Rehm, Peter Bourgonje+38 more|arXiv (Cornell University)|Apr 25, 2020

Digital Humanities and Scholarship参考文献 8被引用 15

一句话总结

QURATOR 开发了一个集成的、由人工智能驱动的平台，通过结合语义技术、自然语言处理（NLP）和机器学习，以简化媒体、健康、文化及工业等行业的数字内容整理工作。该平台通过自动化元数据增强、智能搜索、摘要生成和质量控制，提升了内容处理效率，显著改善了合作伙伴用例中的工作效率和数据质量。

ABSTRACT

In all domains and sectors, the demand for intelligent systems to support the processing and generation of digital content is rapidly increasing. The availability of vast amounts of content and the pressure to publish new content quickly and in rapid succession requires faster, more efficient and smarter processing and generation methods. With a consortium of ten partners from research and industry and a broad range of expertise in AI, Machine Learning and Language Technologies, the QURATOR project, funded by the German Federal Ministry of Education and Research, develops a sustainable and innovative technology platform that provides services to support knowledge workers in various industries to address the challenges they face when curating digital content. The project's vision and ambition is to establish an ecosystem for content curation technologies that significantly pushes the current state of the art and transforms its region, the metropolitan area Berlin-Brandenburg, into a global centre of excellence for curation technologies.

研究动机与目标

• 应对知识密集型行业中海量异构数字内容流管理日益增长的挑战。
• 通过将零散孤立的工具替换为集成的、AI增强的平台，减少人工内容整理工作量。
• 通过自动模式验证和质量评分，提升开放知识库（如Wikidata）中的数据质量和可访问性。
• 利用语义技术和NLP技术，为文化、媒体、健康和工业领域开发特定领域的内容整理解决方案。
• 通过可持续、可扩展的平台生态系统，将柏林-勃兰登堡打造为全球内容整理技术卓越中心。

提出的方法

• 设计三层技术平台：基础AI与数据集成服务、嵌入智能的整理工具，以及领域特定的应用层。
• 集成NLP、文本摘要、重复检测和图像分类等AI方法，以增强内容分析和元数据增强。
• 实施语义技术，包括Shape Expression标准，用于在Wikidata中定义和验证数据模式。
• 开发机器学习模型，自动评估Wikidata中的数据质量，标记高质量和低质量条目以供编辑关注。
• 利用专有的NLP流水线，开发自动查询建议和摘要系统，用于社交媒体风险监测。
• 在真实应用场景中部署示范系统，包括柏林国家图书馆的研究实验室和Wikimedia的数据基础设施。

实验结果

研究问题

• RQ1 如何将AI与语义技术整合到统一平台中，以实现跨多样化行业的内容整理工作流优化？
• RQ2 自动模式验证和质量评分在维护社区驱动的知识库（如Wikidata）中的高数据质量方面发挥何种作用？
• RQ3 智能摘要和重复检测在提升社交媒体和新闻内容风险监测效率方面有何作用？
• RQ4 AI增强的元数据增强在提升文化与媒体机构的内容可发现性和处理效率方面能达到何种程度？
• RQ5 与孤立的点解决方案相比，模块化、开放的平台生态系统能否显著减少人工内容整理工作量？

主要发现

• QURATOR平台成功在十个合作项目中集成AI驱动服务，展示了在内容整理工作流中提升内容处理效率的成效。
• 在Wikidata中实施的自动模式验证通过Shape Expression标准，使编辑能够快速识别不符合规范的条目，显著降低了数据不一致性。
• 用于数据质量评估的机器学习模型成功识别出Wikidata中的高质量和低质量条目，使编辑工作得以精准聚焦。
• 基于图像的分类方法增强了文档元数据，提升了柏林国家图书馆数字档案馆的内容索引和搜索准确性。
• 配备自动查询建议和摘要功能的社交媒体风险监测工具，通过高效浓缩数据，显著缩短了危机检测的洞察时间。
• 2020年，柏林国家图书馆研究实验室的示范系统成功上线，验证了该平台在文化遗产内容整理中的实际应用价值。