[论文解读] Using Artificial Intelligence to Identify State Secrets

Renato Rocha Souza, Flávio Codeço Coelho+2 more|arXiv (Cornell University)|Nov 1, 2016

Digital and Cyber Forensics被引用 6

一句话总结

本文利用机器学习对近一百万份美国国务院电报（1970年代）进行分析，识别出可预测分类的关键特征，实现90%的召回率且假阳性率低于11%。研究揭示了在过度分类与分类不足方面的系统性问题，强调了需要采用人工智能辅助分类系统，并提升官员之间在识别国家机密方面的可靠性。

ABSTRACT

Whether officials can be trusted to protect national security information has become a matter of great public controversy, reigniting a long-standing debate about the scope and nature of official secrecy. The declassification of millions of electronic records has made it possible to analyze these issues with greater rigor and precision. Using machine-learning methods, we examined nearly a million State Department cables from the 1970s to identify features of records that are more likely to be classified, such as international negotiations, military operations, and high-level communications. Even with incomplete data, algorithms can use such features to identify 90% of classified cables with <11% false positives. But our results also show that there are longstanding problems in the identification of sensitive information. Error analysis reveals many examples of both overclassification and underclassification. This indicates both the need for research on inter-coder reliability among officials as to what constitutes classified material and the opportunity to develop recommender systems to better manage both classification and declassification.

研究动机与目标

• 分析历史外交电报中预测国家机密分类的关键特征。
• 评估机器学习在训练数据不完整的情况下识别敏感信息的性能。
• 揭示分类文件中过度分类与分类不足的系统性问题。
• 评估基于人工智能的推荐系统在分类与解密中的可行性。
• 为处理机密信息的官员之间提升分类判断的一致性提供参考。

提出的方法

• 在近一百万份1970年代美国国务院电报的数据集上训练监督式机器学习模型。
• 使用自然语言处理技术提取主题（如军事行动、国际谈判）和语言模式等特征。
• 采用分类算法，基于内容和元数据预测电报是否被分类。
• 使用标准指标评估模型性能：召回率（90%）和假阳性率（<11%）。
• 通过错误分析识别不同文件类型中过度分类与分类不足的模式。
• 尽管标签不完整，仍利用已解密记录训练并验证模型。

实验结果

研究问题

• RQ1 哪些文本和上下文特征最能预测一份外交电报会被分类？
• RQ2 当训练数据不完整时，机器学习在识别分类电报方面的准确度如何？
• RQ3 当前分类实践中，有多少比例的分类电报被遗漏或错误标记？
• RQ4 在不同文件类型中，分类中的系统性错误（过度分类与分类不足）在多大程度上持续存在？
• RQ5 是否可以设计出人工智能系统以支持更可靠、更一致的分类与解密决策？

主要发现

• 机器学习模型在识别分类电报方面实现了90%的召回率，表明其具备强大的检测能力。
• 模型的假阳性率低于11%，表明其在分类中具有较高的精确度。
• 错误分析揭示了广泛存在的过度分类与分类不足，表明分类规则的应用极不一致。
• 涉及军事行动或高层外交的某些文件类型，其分类更为可靠。
• 研究结果明确表明，亟需提升官员在判断何为国家机密时的相互一致性。
• 本研究为开发基于人工智能的推荐系统以支持分类与解密决策开辟了新路径。