[论文解读] WHOSe Heritage: Classification of UNESCO World Heritage "Outstanding Universal Value" Documents with Smoothed Labels.

Nan Bai, Renqian Luo+2 more|arXiv (Cornell University)|Apr 12, 2021

Cultural Heritage Management and Preservation参考文献 53被引用 1

一句话总结

本研究提出了一种基于平滑标签的NLP方法，利用BERT和ULMFiT模型对联合国教科文组织世界遗产‘世界遗产突出普遍价值’（OUV）证明文本进行分类，实现了94.3%的top-3准确率。通过将类间关系的先验知识融入标签，该方法实现了可扩展、可解释且偏差更小的自动化，适用于遗产提名与监测。

ABSTRACT

The UNESCO World Heritage List (WHL) is to identify the exceptionally valuable cultural and natural heritage to be preserved for mankind as a whole. Evaluating and justifying the Outstanding Universal Value (OUV) of each nomination in WHL is essentially important for a property to be inscribed, and yet a complex task even for experts since the criteria are not mutually exclusive. Furthermore, manual annotation of heritage values, which is currently dominant in the field, is knowledge-demanding and time-consuming, impeding systematic analysis of such authoritative documents in terms of their implications on heritage management. This study applies state-of-the-art NLP models to build a classifier on a new real-world dataset containing official OUV justification statements, seeking an explainable, scalable, and less biased automation tool to facilitate the nomination, evaluation, and monitoring processes of World Heritage properties. Label smoothing is innovatively adapted to transform the task smoothly between multi-class and multi-label classification by adding prior inter-class relationship knowledge into the labels, improving the performance of most baselines. The study shows that the best models fine-tuned from BERT and ULMFiT can reach 94.3% top-3 accuracy, which is promising to be further developed and applied in heritage research and practice.

研究动机与目标

• 为解决在手动评估联合国教科文组织世界遗产项目‘世界遗产突出普遍价值’（OUV）证明文本时所面临的复杂性与主观性问题。
• 通过使用NLP自动化分类，减少对OUV文档标注所需的时间与专业知识。
• 通过在标签中整合类间关系的先验知识实现标签平滑，从而提升分类性能。
• 开发一种可扩展、可解释且偏差更小的工具，以支持世界遗产项目的提名、评估及长期监测。
• 创建并发布一个真实世界的官方OUV证明文本数据集，以支持系统性的遗产研究。

提出的方法

• 本研究构建了一个新的真实世界数据集，包含用于分类的官方联合国教科文组织OUV证明文本。
• 应用最先进的NLP模型，包括BERT和ULMFiT，对OUV数据集进行微调，以实现多分类与多标签分类。
• 创新性地使用标签平滑技术，将类间关系的先验知识编码到标签中，实现多分类与多标签学习之间的平滑过渡。
• 通过软化标签分布，减少预测中的过度自信，从而提升模型的泛化能力与性能。
• 采用top-3准确率作为主要评估指标，以衡量在复杂且重叠的OUV标准下的分类有效性。
• 通过利用BERT模型中的注意力机制与注意力可视化，支持可解释AI输出。

实验结果

研究问题

• RQ1 标签平滑能否提升NLP模型在分类联合国教科文组织世界遗产OUV证明文本方面的性能？
• RQ2 微调后的BERT与ULMFiT模型在分类多分类与多标签OUV标准方面能达到多高的准确率？
• RQ3 在标签中整合类间关系的先验知识，对模型在遗产文档分类中的泛化能力与公平性有何影响？
• RQ4 自动化且可解释的NLP系统能否减少对人工专家驱动的OUV证明文本标注的依赖？
• RQ5 所提出的模型在大规模遗产监测与政策支持中的可扩展性与可迁移性如何？

主要发现

• 微调自BERT并采用标签平滑的最佳模型在OUV分类任务中达到了94.3%的top-3准确率。
• 标签平滑显著提升了大多数基线模型的性能，通过整合类间关系的先验知识。
• 微调后的ULMFiT模型也表现出色，表明其在遗产NLP应用中的可行性。
• 所提出的方法实现了OUV文档的可扩展且偏差更小的分类，减少了对耗时的人工标注的依赖。
• 结果表明，该模型在实际遗产管理、提名与监测工作流中具有强大的部署潜力。
• 本研究成功证明，NLP可被有效适配于复杂、多维度的文化遗产评估任务，并实现高精度。