[论文解读] Sensitive Information Detection: Recursive Neural Networks for Encoding Context

Jan Neerbek|arXiv (Cornell University)|Aug 25, 2020

Topic Modeling参考文献 85被引用 9

一句话总结

本文提出了一种新颖的上下文感知方法，利用递归神经网络（RNN）检测非结构化文本中的敏感信息，通过建模语义上下文，其性能优于传统的基于关键词的方法。该方法仅从标注样本中学习，无需预定义规则或种子词，已在真实世界的人工标注敏感文档数据上取得显著提升。

ABSTRACT

The amount of data for processing and categorization grows at an ever increasing rate. At the same time the demand for collaboration and transparency in organizations, government and businesses, drives the release of data from internal repositories to the public or 3rd party domain. This in turn increase the potential of sharing sensitive information. The leak of sensitive information can potentially be very costly, both financially for organizations, but also for individuals. In this work we address the important problem of sensitive information detection. Specially we focus on detection in unstructured text documents. We show that simplistic, brittle rule sets for detecting sensitive information only find a small fraction of the actual sensitive information. Furthermore we show that previous state-of-the-art approaches have been implicitly tailored to such simplistic scenarios and thus fail to detect actual sensitive content. We develop a novel family of sensitive information detection approaches which only assumes access to labeled examples, rather than unrealistic assumptions such as access to a set of generating rules or descriptive topical seed words. Our approaches are inspired by the current state-of-the-art for paraphrase detection and we adapt deep learning approaches over recursive neural networks to the problem of sensitive information detection. We show that our context-based approaches significantly outperforms the family of previous state-of-the-art approaches for sensitive information detection, so-called keyword-based approaches, on real-world data and with human labeled examples of sensitive and non-sensitive documents.

研究动机与目标

• 解决基于规则和基于关键词的系统在检测非结构化文本中敏感信息时的脆弱性局限。
• 开发一种仅依赖标注训练样本的方法，避免对生成规则或主题种子词的不切实际假设。
• 将最先进的深度学习技术从释义检测任务迁移到敏感信息检测任务。
• 通过递归神经网络架构建模上下文依赖关系，提升检测性能。

提出的方法

• 该方法使用递归神经网络对文本文档中的分层句法和语义结构进行编码。
• 它将文本处理为解析树，递归组合词表示以构建更深层次的上下文表示。
• 模型在标注的敏感与非敏感文档样本上进行端到端训练，使用分类头。
• 它利用注意力机制和递归组合，捕捉长距离依赖关系和细微的上下文线索。
• 该方法受到释义检测领域最先进模型的启发，适配其架构和训练策略。
• 它避免依赖外部词典或规则集，而是直接从标注数据中学习模式。

实验结果

研究问题

• RQ1 递归神经网络能否有效建模上下文依赖关系，从而在超越基于关键词匹配的基础上提升敏感信息检测性能？
• RQ2 在真实世界的敏感信息检测中，上下文感知的深度学习方法与基于规则和基于关键词的系统相比表现如何？
• RQ3 仅从标注样本中训练的模型在多大程度上能超越需要种子词或规则模板的方法？
• RQ4 词表示的递归组合是否能提升对非结构化文本中语义敏感内容的检测能力？
• RQ5 该模型是否能在缺乏先验语言学或领域特定知识的情况下，泛化到多样化的实际文档？

主要发现

• 所提出的基于RNN的方法在真实世界敏感信息检测任务中显著优于以往最先进的基于关键词的方法。
• 该模型在人工标注的数据集上取得了更高的F1分数，证明其在检测语义敏感内容方面表现更优。
• 与基于规则的系统相比，该方法检测到的实际敏感信息比例显著更高，后者常会遗漏上下文相关的案例。
• 该方法在无需特定任务规则工程的情况下，能良好泛化到多种文档类型。
• 结果证实，通过递归网络实现的上下文感知建模对于实现稳健的敏感信息检测至关重要。