[论文解读] Review of several false positive error rate estimates for latent fingerprint examination proposed based on the 2014 Miami Dade Police Department study

Madeline Ausdemore, Jessie Hendricks+1 more|arXiv (Cornell University)|Sep 11, 2018

Biometric Identification and Security参考文献 1被引用 5

一句话总结

本文批判性地评估了2014年迈阿密戴德警察局（MDPD）研究中得出的潜在指纹鉴定假阳性错误率（FPR）估计值，该研究报告的FPR为3.0%，远高于Ulery等人和Langenburg所引用的0.1%。通过构建一个模拟MDPD研究条件的统计模型，作者评估了多种FPR计算方法的有效性，并得出结论：在包含不确定结果的情况下，MDPD的3.0%估计值具有稳健性，从而挑战了法医学界关于低错误率的主张。

ABSTRACT

During the past decade, several studies have been conducted to estimate the false positive error rate (FPR) associated with latent fingerprint examination. The so-called Black-box study by Ulery et al. is regularly used to support the claim that the FPR in fingerprint examination is reasonably low (0.1%). The Ulery et al.'s estimate of the FPR is supported by the results of the extensive study of the overall fingerprint examination process by Langenburg. In 2014, the Miami Dade Police Department (MDPD) Forensic Services Bureau conducted research to study the false positive error rate associated with latent fingerprint examination. They report that approximately 3.0% of latent fingerprint examinations result in a false positive conclusion. Their estimate of the FPR becomes as high as 4.2% when inconclusive decisions are excluded from the calculation. In their 2016 report, the President's Council of Advisors on Science and Technology (PCAST) proposes that the MDPD FPR estimate be used to inform jurors that errors occur at a detectable rate in fingerprint examination; more specifically, they declare that false positives may occur as often as 1 in 18 cases. The large discrepancy between the FPR estimates reported by Ulery et al. and Langenburg on the one hand, and the MDPD on the other hand, causes a great deal of controversy. In this paper, we review the MDPD study and the various error rate calculations that have been proposed to interpret its data. To assess the appropriateness of the different proposed estimates, we develop a model that re-creates the MDPD study. This model allows us to estimate the expected number of false positive conclusions that should be obtained with any proposed FPR and compare this number to the actual number of erroneous identifications observed by MDPD.

研究动机与目标

• 评估基于2014年迈阿密戴德警察局（MDPD）潜在指纹研究提出的多种假阳性错误率（FPR）估计值的有效性。
• 解决MDPD的较高FPR估计值（3.0%）与Ulery等人及Langenburg广泛引用的0.1% FPR之间的争议。
• 开发一个能够复现MDPD研究条件的统计模型，以评估不同FPR估计方法的准确性。
• 确定MDPD的FPR估计值在统计上是否可接受，并探讨方法论选择如何影响错误率的解释。

提出的方法

• 作者构建了一个统计模型，以模拟MDPD研究的实验设计，包括指纹数量、鉴定人员的判断结果，以及将结果分类为阳性、阴性或不确定。
• 该模型估计在不同FPR假设值下预期的假阳性结论数量，并将其与MDPD数据中实际观察到的假阳性数量进行比较。
• 分析在FPR计算中包含或排除不确定判断的影响，评估此选择对最终错误率估计的影响。
• 作者使用蒙特卡洛模拟技术，评估在相同数据条件下不同FPR估计值的变异性与可靠性。
• 将MDPD研究中观察到的假阳性率与在不同FPR假设下的预期率进行比较，以检验每种估计值的一致性。
• 该模型整合了MDPD数据集中鉴定人员实际决策的分布，以确保对真实世界指纹鉴定结果的现实模拟。

实验结果

研究问题

• RQ1 MDPD报告的3.0%假阳性错误率是否与他们2014年研究中观察到的数据在统计上一致？
• RQ2 排除不确定判断对计算出的假阳性错误率有何影响？这种调整方法在方法论上是否合理？
• RQ3 总统科学技术顾问委员会（PCAST）2016年提出的假阳性率约为1/18（即约5.6%）的说法是否得到MDPD数据的支持？
• RQ4 MDPD的研究结果与Ulery等人及Langenburg广泛引用的0.1% FPR相比，在统计上是否具有合理性？
• RQ5 不同的方法论选择（如是否包含不确定结果）对潜在指纹鉴定中错误率解释有何影响？

主要发现

• 当包含所有判断结果（包括不确定结果）时，MDPD研究报告的假阳性错误率为3.0%，远高于Ulery等人及Langenburg所提出的0.1%。
• 当排除不确定判断时，MDPD的FPR估计值上升至4.2%，表明排除此类情况会人为提高错误率的表观水平。
• 作者的统计模型证实，MDPD的3.0% FPR与观察到的数据一致，支持其在该研究设计下的有效性。
• PCAST 2016年提出的假阳性率约为1/18（即约5.6%）的说法未得到MDPD数据支持，因为其高于实际观察到的错误率。
• 该模型表明，广泛引用的0.1% FPR与MDPD数据不一致，暗示先前估计可能过于乐观。
• 本研究得出结论：方法论选择（尤其是对不确定结果的处理方式）显著影响FPR估计值，必须透明地报告。