[论文解读] Privacy Policy Question Answering Assistant: A Query-Guided Extractive Summarization Approach

Moniba Keymanesh, Micha Elsner+1 more|arXiv (Cornell University)|Sep 29, 2021

Topic Modeling参考文献 37被引用 4

一句话总结

本文提出了一种用于隐私政策问答的查询引导式抽取式摘要管道，通过查询改写和微调的Transformer模型，将用户查询与法律政策语言对齐。该系统通过在改写查询上结合相关性与信息量评分，实现了在PrivacyQA数据集上89%的答章覆盖度。

ABSTRACT

Existing work on making privacy policies accessible has explored new presentation forms such as color-coding based on the risk factors or summarization to assist users with conscious agreement. To facilitate a more personalized interaction with the policies, in this work, we propose an automated privacy policy question answering assistant that extracts a summary in response to the input user query. This is a challenging task because users articulate their privacy-related questions in a very different language than the legal language of the policy, making it difficult for the system to understand their inquiry. Moreover, existing annotated data in this domain are limited. We address these problems by paraphrasing to bring the style and language of the user's question closer to the language of privacy policies. Our content scoring module uses the existing in-domain data to find relevant information in the policy and incorporates it in a summary. Our pipeline is able to find an answer for 89% of the user queries in the privacyQA dataset.

研究动机与目标

• 解决用户查询与隐私政策法律语言之间存在的语义和风格差异问题。
• 通过利用有限的领域内标注数据，在低资源环境下提升答章检索性能。
• 实现个性化、查询特定的隐私政策摘要，以提升用户理解能力。
• 评估查询扩展与内容评分在提升隐私政策问答可答性方面的有效性。

提出的方法

• 该管道使用词项替换和回译技术生成用户查询的改写版本，使其语言与隐私政策文本对齐。
• 微调的Transformer模型为每个政策段落相对于扩展查询计算两个分数：相关性与信息量。
• 将这两个分数合并为一个可答性分数，用于对政策段落进行排序以生成摘要。
• 系统检索并呈现每个用户查询对应的最高分段落作为摘要。
• 采用F@k、MRR和精确率等检索指标，在PrivacyQA数据集上评估该方法。
• 通过消融研究分离查询扩展与答案检测组件的贡献。

实验结果

研究问题

• RQ1 尽管存在领域特定的语言差异，查询改写是否能提升隐私政策问答中的检索性能？
• RQ2 结合相关性与信息量的混合评分方法，在识别与答案相关的政策段落方面有多有效？
• RQ3 与域外方法相比，使用领域内微调在性能提升方面有多大程度的改善？
• RQ4 查询扩展与答案检测对检索召回率和精确率的影响如何？

主要发现

• 当考虑前10个结果时，该系统在PrivacyQA数据集上对89%的查询成功检索到相关答案。
• MRR达到0.59，表明平均而言，首个相关段落排在第二位或更靠前的位置。
• F@5为80.6%，意味着80.6%的查询在前5个结果中至少包含一个相关片段。
• 与无扩展基线相比，查询扩展模块略微提升了性能，F@5提升0.4%，F@10提升1.1%。
• 移除答案检测器后，F@5和F@10下降，但精确率和MRR提升，表明召回率与排序质量之间存在权衡。
• 基于领域启发的规则式改写方法在该任务中，相较于域外NMT方法，对查询对齐的效果更优。