[论文解读] Shift-of-Perspective Identification Within Legal Cases

Gathika Ratnayaka, Thejan Rupasinghe+4 more|arXiv (Cornell University)|Jun 6, 2019

Artificial Intelligence in Law参考文献 30被引用 6

一句话总结

本文提出了一种新颖的方法，通过结合语义分析、开放信息抽取和情感分析，识别法律意见文本中的观点转换句。该方法在检测同一主题上不同观点时，实现了0.688的精确率和0.524的F值，显著优于先前工作，实现了对反论证和对立法律立场的自动化检测。

ABSTRACT

Arguments, counter-arguments, facts, and evidence obtained via documents related to previous court cases are of essential need for legal professionals. Therefore, the process of automatic information extraction from documents containing legal opinions related to court cases can be considered to be of significant importance. This study is focused on the identification of sentences in legal opinion texts which convey different perspectives on a certain topic or entity. We combined several approaches based on semantic analysis, open information extraction, and sentiment analysis to achieve our objective. Then, our methodology was evaluated with the help of human judges. The outcomes of the evaluation demonstrate that our system is successful in detecting situations where two sentences deliver different opinions on the same topic or entity. The proposed methodology can be used to facilitate other information extraction tasks related to the legal domain. One such task is the automated detection of counter arguments for a given argument. Another is the identification of opponent parties in a court case.

研究动机与目标

• 检测法律意见文本中针对同一主题或实体呈现不同观点的句子。
• 通过识别观点变化（如矛盾或不同意见），改进法律文档中的自动化信息抽取。
• 支持下游任务，如反论证检测和法律案件中对立方的识别。
• 评估并提升语义分析与情感分析技术在法律领域中的性能。
• 开发一个稳健的系统，用于识别司法意见中的话语关系，特别是“观点转换”关系。

提出的方法

• 结合语义分析、开放信息抽取（使用OLLIE）和情感分析，检测句子对之间的观点转换。
• 以动词关系分析为核心组件，识别两句话中的动词是否表达冲突或不同的动作或状态。
• 应用情感标注模型（Gamage et al., 2018）检测句子间意见极性的变化。
• 使用句子关系识别器（SRI）对话语关系进行分类，包括“观点转换”。
• 使用200组人工标注的句子对进行系统评估，每组关系类型均由至少两名裁判达成一致。
• 整合多种技术并评估其组合性能，以提升观点转换的检测效果。

实验结果

研究问题

• RQ1 系统如何检测法律意见文本中两句话对同一主题或实体呈现不同观点？
• RQ2 哪些自然语言处理技术组合——语义、情感和开放信息抽取——在法律文本中对观点转换检测最有效？
• RQ3 与其它方法相比，基于动词层面的关系分析在识别观点转换方面表现如何？
• RQ4 现有语义相似度和情感模型在多大程度上可被适配用于法律文本，以检测观点偏差？
• RQ5 观点转换关系的检测能否提升自动化法律信息抽取任务（如反论证识别）的性能？

主要发现

• 动词关系分析方法在检测‘观点转换’关系方面取得了最高的精确率（0.688）和F值（0.524），优于其他方法。
• SRI与观点转换检测相结合的系统在‘观点转换’关系上的F值达到0.524，显著优于先前工作（Ratnayaka et al., 2018）。
• 情感分析有助于识别意见变化，但其准确性受限于基础模型性能（76%准确率）和对句子长度的敏感性。
• 使用OLLIE生成三元组进行不一致性检测的方法仅获得0.27的精确率，主要因在2150组句子对中有1570组三元组抽取失败。
• 该系统在检测其他话语关系方面表现优异：‘详述’关系的F值为0.933，‘引用’关系为0.985，‘无关系’关系为0.868。
• 实证验证表明，与情感分析或基于三元组的方法相比，基于动词层面的分析在法律文本中检测观点转换方面更为有效。