[论文解读] The GINCO Training Dataset for Web Genre Identification of Documents Out in the Wild

Taja Kuzman, Peter Rupnik+1 more|arXiv (Cornell University)|Jan 11, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文介紹了 GINCO 1.0，一個手動標註的斯洛文尼亞語網絡語料庫，包含 1,125 範文檔（650,000 個詞），用於自動文本類型識別，其特點是採用新穎的分類架構，強調標籤清晰度與高 annotator 一致性。實驗結果顯示，基於 Transformer 的模型（例如 SloBERTa、XLM-RoBERTa）的宏觀 F1 分數達約 0.58，顯著優於非 Transformer 模型（約 0.22），而將標籤類別從 21 種減少至 12 種，則使宏觀 F1 提升至 0.668。

ABSTRACT

This paper presents a new training dataset for automatic genre identification GINCO, which is based on 1,125 crawled Slovenian web documents that consist of 650 thousand words. Each document was manually annotated for genre with a new annotation schema that builds upon existing schemata, having primarily clarity of labels and inter-annotator agreement in mind. The dataset consists of various challenges related to web-based data, such as machine translated content, encoding errors, multiple contents presented in one document etc., enabling evaluation of classifiers in realistic conditions. The initial machine learning experiments on the dataset show that (1) pre-Transformer models are drastically less able to model the phenomena, with macro F1 metrics ranging around 0.22, while Transformer-based models achieve scores of around 0.58, and (2) multilingual Transformer models work as well on the task as the monolingual models that were previously proven to be superior to multilingual models on standard NLP tasks.

研究动机与目标

• 開發一個真實、高品質的訓練資料集，用於網絡文件的自動文本類型識別，特別是針對斯洛文尼亞語等低資源語言。
• 透過精心篩選、手動標註的語料庫，解決網絡數據常見的問題，如機器翻譯、編碼錯誤與混合類型文本。
• 透過設計強調標籤清晰度與高 annotator 一致性（Krippendorff’s alpha = 0.71）的分類架構，提升文本類型標註的可靠性。
• 評估不同神經架構在真實、雜訊較多的網絡環境下進行文本分類的表現。
• 透過將資料集擴展至克羅地亞語與英語，為未來的跨語言文本類型識別奠定基礎。

提出的方法

• 使用新穎的文本類型分類架構對 1,125 範斯洛文尼亞語網絡文件進行標註，整合目的、形式與詞法-句法特徵，以提升標籤清晰度與 annotator 一致性。
• 透過從兩個現有的斯洛文尼亞語網絡語料庫中抽樣，構建 GINCO 1.0 語料庫，並保留現實世界中的雜訊，如機器翻譯內容、編碼錯誤與多類型文件。
• 實施兩步驟的資料過濾：移除近似重複的段落，並僅保留每份文件的主導類型標籤，以提升模型泛化能力。
• 在最終語料庫上訓練並評估多種模型，包括基於 CNN 的模型、單語模型（SloBERTa）與多語模型（XLM-RoBERTa）。
• 透過合併 21 個標籤至 12 個，進行標籤集合大小的消融研究，專注於提升低資源類別的表現。
• 使用統計檢定（Mann-Whitney U 檢定）驗證不同配置下性能差異的顯著性。

实验结果

研究问题

• RQ1 新穎的文本類型分類架構是否能在維持標籤清晰度的同時，實現高 annotator 一致性？
• RQ2 不同神經架構在真實、雜訊較多的網絡語料庫中進行文本分類的表現如何？
• RQ3 減少文本類型標籤數量是否能提升分類表現，特別是對低資源類別？
• RQ4 近似重複的段落與多類型文件在多大程度上對模型表現產生負面影響？
• RQ5 多語模型在斯洛文尼亞語等低資源語言的文本類型識別任務中，是否能表現得與單語模型相當？

主要发现

• 非 Transformer 模型的宏觀 F1 分數約為 0.22，顯示其在 GINCO 語料庫上表現欠佳，這是因為其對複雜網絡文本類型的建模能力有限。
• 基於 Transformer 的模型，包括單語模型 SloBERTa 與多語模型 XLM-RoBERTa，均達到約 0.58 的宏觀 F1 分數，顯示此任務對上下文表徵的依賴性。
• 將文本類型標籤數量從 21 種減少至 12 種，使宏觀 F1 從 0.575 显著提升至 0.668（p < 0.001），尤其顯著改善了如「法律/法規」與「其他」等少數類別的表現。
• 混淆矩陣顯示，標籤減少後類別分離更為清晰，誤分類顯著減少，特別是在「推廣」與「其他」類別中。
• 微觀 F1 從 0.629（21 個標籤）提升至 0.696（12 個標籤），且經 Mann-Whitney U 檢定確認具有統計顯著性（p < 0.001）。
• 本研究識別出原始資料中 10.9% 的內容因模糊或過於複雜而不適合進行文本類型分類，強調了改進預處理或自動分割多類型文件的必要性。