[论文解读] New Vietnamese Corpus for Machine Reading Comprehension of Health News Articles

Kiet Van Nguyen, Tin Van Huynh+3 more|arXiv (Cornell University)|Jun 19, 2020

Topic Modeling被引用 7

一句话总结

本文介紹了 ViNewsQA，一個基於健康新聞文章構建的大規模、人工標註的越南語語料庫，包含 22,057組問題-答案對，專注於機器閱讀理解（MRC）。該語料庫強調複雜推理與領域專精知識，最佳模型（ALBERT）在測試集上取得 65.26% 的精確匹配分數與 84.89% 的 F1 分數，遠低於人類表現，顯示越南語 MRC 系統仍有巨大提升空間。

ABSTRACT

Large-scale and high-quality corpora are necessary for evaluating machine reading comprehension models on a low-resource language like Vietnamese. Besides, machine reading comprehension (MRC) for the health domain offers great potential for practical applications; however, there is still very little MRC research in this domain. This paper presents ViNewsQA as a new corpus for the Vietnamese language to evaluate healthcare reading comprehension models. The corpus comprises 22,057 human-generated question-answer pairs. Crowd-workers create the questions and their answers based on a collection of over 4,416 online Vietnamese healthcare news articles, where the answers comprise spans extracted from the corresponding articles. In particular, we develop a process of creating a corpus for the Vietnamese machine reading comprehension. Comprehensive evaluations demonstrate that our corpus requires abilities beyond simple reasoning, such as word matching and demanding difficult reasoning based on single-or-multiple-sentence information. We conduct experiments using different types of machine reading comprehension methods to achieve the first baseline performances, compared with further models' performances. We also measure human performance on the corpus and compared it with several powerful neural network-based and transfer learning-based models. Our experiments show that the best machine model is ALBERT, which achieves an exact match score of 65.26% and an F1-score of 84.89% on our corpus. The significant differences between humans and the best-performance model (14.53% of EM and 10.90% of F1-score) on the test set of our corpus indicate that improvements in ViNewsQA could be explored in the future study. Our corpus is publicly available on our website for the research purpose to encourage the research community to make these improvements.

研究动机与目标

• 解決低資源語言（如越南語）在領域專精 MRC 語料庫方面缺乏高品質資源的問題。
• 建立一個基於越南語的健康領域機器閱讀理解模型評估基準語料庫。
• 支援面向越南語使用者的智慧型健康資訊系統之發展。
• 促進跨語言 MRC 數據集（包括 SQuAD 與 CMRC）的比較研究。
• 透過公開釋出語料庫，推動未來研究，促進共享任務與模型改進。

提出的方法

• 透過眾包工作者基於 4,416篇線上越南語健康新聞文章生成問題-答案對。
• 答案被限制為從原始文本中抽取的連續片段，確保事實準確性。
• 採用結構化標註流程以確保一致性，問題涵蓋多種類型（何事、如何、為何、誰等）。
• 語料庫設計要求複雜推理，包括跨多個句子的推斷與領域專精知識。
• 使用標準 MRC 架構（如 DrQA、QANet、BERT、ALBERT）評估基線模型。
• 測量並對比神經網絡模型與人類表現，以確立性能上限。

实验结果

研究问题

• RQ1 現有神經網絡 MRC 模型在低資源、領域專精的越南語語料庫上的表現如何？
• RQ2 ViNewsQA 語料庫在多大程度上要求超越簡單片段匹配的複雜推理能力？
• RQ3 人類標註者與最先进神經網絡模型在該越南語健康 MRC 基準上的表現差距為何？
• RQ4 問題長度、答案長度與文章長度如何影響模型在 ViNewsQA 上的表現？
• RQ5 在該語料庫上，模型預測中最常見的錯誤類型（如答案邊界模糊、知識缺口）為何？

主要发现

• 最佳表現模型 ALBERT 在測試集上取得 65.26% 的精確匹配分數與 84.89% 的 F1 分數。
• 人類表現顯著優於最佳模型，精確匹配分數差距達 14.53%，F1 分數差距為 10.90%。
• ViNewsQA 中 42.25% 的問題需要基於單一或多重句子的複雜推理。
• 較長的問題與較短的答案與更好的模型表現相關，顯示複雜度與長度影響模型泛化能力。
• 常見錯誤類型包括答案邊界模糊、推理錯誤，以及對專門術語（如「kiêng」（禁忌））缺乏世界知識。
• 該語料庫已公開釋出，以鼓勵社群研究、共享任務與越南語 MRC 模型的發展。