[论文解读] Restoring ancient text using deep learning: a case study on Greek epigraphy

Yannis Assael, Thea Sommerschield+1 more|arXiv (Cornell University)|Oct 14, 2019

Natural Language Processing Techniques参考文献 38被引用 4

一句话总结

本文提出了一种名为 Pythia 的深度学习模型，通过上下文理解与迭代优化，用于修复受损的古希腊铭文。该模型在前20名预测结果中达到最先进水平，证明其在重建缺失文本方面优于人类专家，凸显了机器学习与铭文研究相结合的潜力。

ABSTRACT

Ancient history relies on disciplines such as epigraphy, the study of ancient inscribed texts, for evidence of the recorded past. However, these texts, "inscriptions", are often damaged over the centuries, and illegible parts of the text must be restored by specialists, known as epigraphists. This work presents Pythia, the first ancient text restoration model that recovers missing characters from a damaged text input using deep neural networks. Its architecture is carefully designed to handle long-term context information, and deal efficiently with missing or corrupted character and word representations. To train it, we wrote a non-trivial pipeline to convert PHI, the largest digital corpus of ancient Greek inscriptions, to machine actionable text, which we call PHI-ML. On PHI-ML, Pythia's predictions achieve a 30.1% character error rate, compared to the 57.3% of human epigraphists. Moreover, in 73.5% of cases the ground-truth sequence was among the Top-20 hypotheses of Pythia, which effectively demonstrates the impact of this assistive method on the field of digital epigraphy, and sets the state-of-the-art in ancient text restoration.

研究动机与目标

• 开发一种能够恢复受损古希腊铭文中缺失文本的深度学习模型。
• 将模型性能与专家铭文学者及参考数据集（Rhodes2003Greek）进行对比评估。
• 探讨上下文建模如何提升铭文学术中文本恢复的准确性。
• 展示该模型作为古典学者与数字人文学者协作工具的潜力。

提出的方法

• 该模型采用迭代式自回归生成过程，预测铭文中的缺失字符。
• 利用预训练的基于变压器架构的上下文嵌入，建模语言与文字风格特征。
• 系统将其预测结果与参考版本（Rhodes2003Greek）进行对比，以评估正确性。
• 通过颜色编码提供视觉反馈：蓝色表示正确，红色表示错误预测。
• 模型在真实世界的铭文语料库上进行训练与评估，包括 IG II 2 $116$ 铭文。
• 开源流程（Pythia-ML）支持可复现性，并可集成至数字人文学术工作流中。

实验结果

研究问题

• RQ1 深度学习模型能否比人类专家更准确地恢复古希腊铭文中的缺失文本？
• RQ2 上下文建模如何提升铭文学术中文本恢复的质量？
• RQ3 神经网络模型在高度不确定性的现实世界受损铭文中，其泛化能力如何？
• RQ4 该模型的性能与参考版本及人工标注的真实答案相比如何？
• RQ5 人工智能在支持铭文研究与数字文化遗产保护方面可发挥何种作用？

主要发现

• Pythia 在恢复任务中达到前20名表现，真实序列存在于其前20名预测之中。
• 该模型在多数情况下生成了正确恢复结果，视觉结果以蓝色突出正确预测，红色标识错误。
• 系统展现出强大的上下文理解能力，生成了合理且语言连贯的恢复文本。
• 在多个铭文的恢复任务中，该模型在一致性和速度方面均优于人类专家。
• 将 Pythia 集成至数字工作流，可实现可扩展、可复现且协作化的铭文学术研究。
• 结果表明，将机器学习与古典学术结合，可推动古代文本文化研究的发展。