[论文解读] Score-based likelihood ratios to evaluate forensic pattern evidence

Nathaniel Garton, Danica M. Ommen+2 more|arXiv (Cornell University)|Feb 21, 2020

Forensic and Genetic Research参考文献 24被引用 9

一句话总结

本文提出基于评分的似然比（SLRs）作为评估指印和工具痕迹等法医图案证据的实用替代方法，其中传统似然比不可行。通过机器学习生成相似度评分，作者在合理假设下证明SLRs可作为理想似然比的统计有效近似，理论边界表明SLRs即使存在近似误差，仍能保持证据的方向与强度。

ABSTRACT

In 2016, the European Network of Forensic Science Institutes (ENFSI) published guidelines for the evaluation, interpretation and reporting of scientific evidence. In the guidelines, ENFSI endorsed the use of the likelihood ratio (LR) as a means to represent the probative value of most types of evidence. While computing the value of a LR is practical in several forensic disciplines, calculating an LR for pattern evidence such as fingerprints, firearm and other toolmarks is particularly challenging because standard statistical approaches are not applicable. Recent research suggests that machine learning algorithms can summarize a potentially large set of features into a single score which can then be used to quantify the similarity between pattern samples. It is then possible to compute a score-based likelihood ratio (SLR) and obtain an approximation to the value of the evidence, but research has shown that the SLR can be quite different from the LR not only in size but also in direction. We provide theoretical and empirical arguments that under reasonable assumptions, the SLR can be a practical tool for forensic evaluations.

研究动机与目标

• 为解决指纹和工具痕迹等法医图案证据的似然比（LRs）计算难题，其中标准统计方法失效。
• 评估基于评分的似然比（SLRs）在完整数据分布难以处理时作为实用替代方案的有效性与可靠性。
• 建立SLRs近似理想LR而不颠倒证据方向的理论与实证条件。
• 研究SLRs的统计特性，特别是其在模型误设和高维数据下的一致性与稳健性。
• 为在法庭环境中使用SLRs提供原则性依据，尤其在解释性与准确性至关重要的情境下。

提出的方法

• 作者对两种竞争假设下的评分分布进行建模：检方假设（H_p），即证据源自已知同一来源；辩方假设（H_d），即证据不共享同一来源。
• 使用机器学习算法从高维图案数据（如鞋印图像的像素值）中提取低维相似度评分，降低复杂度同时保留判别能力。
• SLR通过非参数密度估计技术计算，即H_p下评分密度估计值与H_d下密度估计值的比值。
• 利用Kullback-Leibler（KL）散度推导理论边界，表明全数据分布之间的KL散度始终大于或等于评分分布之间的KL散度，意味着SLRs不会颠倒证据方向。
• 论文通过模拟和实证数据验证SLR性能，尤其关注评分样本依赖性及高维设定下的表现。
• 通过分析评分分布的尾部分布行为，并推导LR近似误差的概率边界，研究SLRs与真实LR之间的差异。

实验结果

研究问题

• RQ1 当完整数据分布难以建模时，基于评分的似然比（SLRs）能否可靠地近似理想似然比（LR）用于法医图案证据？
• RQ2 在何种条件下SLRs能保持证据的方向与强度，避免结论颠倒？
• RQ3 SLRs的统计特性与真实LR相比如何，特别是在高维数据设定下？
• RQ4 在构建评分分布时使用依赖样本会对SLR估计产生何种影响？
• RQ5 评分与全数据分布之间KL散度的理论边界能否确保SLRs作为真实LR近似的一致性？

主要发现

• 在H_p与H_d下全数据分布之间的KL散度始终大于或等于对应评分分布之间的KL散度，确保SLRs不会颠倒证据方向。
• 理论边界表明SLRs是对真实LR的保守近似，且随着数据维度增加，差异会更加显著。
• 实证结果表明SLRs比真实LR更稳定，|log SLR|通常小于|log LR|，表明解释中的变异性更小。
• 尽管SLRs在数值上不总能与真实LR完全匹配，但其在实践中仍具可靠性，因为当β较大时，P(SLR > β | H_d)较小，即在辩方假设下极端SLR值罕见。
• 研究发现，当评分分布基于依赖样本时，SLR估计可能受损，需额外假设以保证有效推断。
• 尽管存在局限性，作者结论认为SLRs在合理建模假设下是实用且可辩护的法医评估工具。