[论文解读] Text mining policy: Classifying forest and landscape restoration policy agenda with neural information retrieval

John Brandt|arXiv (Cornell University)|Aug 7, 2019

Computational and Text Analysis Methods参考文献 26被引用 5

一句话总结

本论文提出了一种基于迁移学习和词嵌入的无监督神经信息检索方法，用于分类多样国家政策文件中的森林与景观恢复政策议程。通过将政策议程视为检索查询，并利用段落嵌入与查询嵌入之间的余弦相似度进行分类，该方法在马拉维、肯尼亚和卢旺达的31份文件中对14项议程实现了0.83的F1得分，展示了在自动化政策分析中具有高准确率和强泛化能力。

ABSTRACT

Dozens of countries have committed to restoring the ecological functionality of 350 million hectares of land by 2030. In order to achieve such wide-scale implementation of restoration, the values and priorities of multi-sectoral stakeholders must be aligned and integrated with national level commitments and other development agenda. Although misalignment across scales of policy and between stakeholders are well known barriers to implementing restoration, fast-paced policy making in multi-stakeholder environments complicates the monitoring and analysis of governance and policy. In this work, we assess the potential of machine learning to identify restoration policy agenda across diverse policy documents. An unsupervised neural information retrieval architecture is introduced that leverages transfer learning and word embeddings to create high-dimensional representations of paragraphs. Policy agenda labels are recast as information retrieval queries in order to classify policies with a cosine similarity threshold between paragraphs and query embeddings. This approach achieves a 0.83 F1-score measured across 14 policy agenda in 31 policy documents in Malawi, Kenya, and Rwanda, indicating that automated text mining can provide reliable, generalizable, and efficient analyses of restoration policy.

研究动机与目标

• 为解决在碎片化治理结构中监测多方利益相关者恢复政策对齐的挑战。
• 开发一种自动化、可扩展的方法，用于在大量非结构化政策文本中识别和分类恢复政策议程。
• 通过使用无监督神经检索方法，克服监督方法对大量标注数据的依赖。
• 通过快速提取利益相关者优先事项及政策协同或冲突关系，支持基于证据的恢复规划。
• 提高国家、区域和地方利益相关者在景观恢复治理中的透明度与协调性。

提出的方法

• 该方法采用基于迁移学习和密集词嵌入的神经信息检索架构，生成政策段落的高维表示。
• 将政策议程重新表述为自然语言查询，并将其嵌入与政策文本相同的向量空间。
• 通过段落嵌入与查询嵌入之间的余弦相似度进行分类，使用阈值判断相关性。
• 该方法在领域特定政策文本上进行无监督训练，避免对大规模标注数据集的依赖。
• 在查询扩展和阈值选择过程中应用人机协同优化，以提升领域特定的准确性。
• 结果报告包含元数据、文本提取和页码引用，以确保可复现性和客观性。

实验结果

研究问题

• RQ1 神经信息检索能否有效分类非结构化国家政策文件中多样的恢复政策议程？
• RQ2 无监督的基于嵌入的检索方法在不同国家和不同类型的政策文件中具有多高的泛化能力？
• RQ3 该方法在多部门利益相关者恢复治理中，能在多大程度上识别出政策协同与冲突？
• RQ4 在低资源政策分析环境中，该方法的性能与传统监督分类方法相比如何？
• RQ5 该方法能否被调整以不仅检测议程的存在，还能识别政策文本中的情感或实施意图？

主要发现

• 该方法在马拉维、肯尼亚和卢旺达的31份国家政策文件中，对14项不同的恢复政策议程实现了0.83的F1得分。
• 该方法在语言风格和结构格式多样的政策文件中表现出高度的泛化能力。
• 迁移学习与词嵌入的使用使得在无需大规模标注训练集的情况下，也能有效表示政策内容。
• 在查询扩展和阈值调优过程中引入人工监督，显著提升了分类准确率和可解释性。
• 该方法成功实现了段落级别的政策议程提取与分类，支持对利益相关者优先事项的细粒度分析。
• 结果表明，神经信息检索可作为一项可扩展、透明的工具，用于识别恢复政策框架中的缺口与错配。