[论文解读] To Trust or Not to Trust a Regressor: Estimating and Explaining Trustworthiness of Regression Predictions

Kim de Bie, Ana Lučić+1 more|arXiv (Cornell University)|Apr 14, 2021

Explainable Artificial Intelligence (XAI)被引用 9

一句话总结

本文提出 RETRO-VIZ 方法，可在缺乏真实标签的情况下估计并解释回归预测的可信度。RETRO 提供与预测误差相关的定量可信度评分，而 VIZ 则通过可视化解释，突出显示预测结果与其最近邻之间的差异，使用户能够识别预测不可靠的原因。用户研究表明，RETRO 评分与 VIZ 图表显著提升了用户识别可信与不可信预测的能力。

ABSTRACT

In hybrid human-AI systems, users need to decide whether or not to trust an algorithmic prediction while the true error in the prediction is unknown. To accommodate such settings, we introduce RETRO-VIZ, a method for (i) estimating and (ii) explaining trustworthiness of regression predictions. It consists of RETRO, a quantitative estimate of the trustworthiness of a prediction, and VIZ, a visual explanation that helps users identify the reasons for the (lack of) trustworthiness of a prediction. We find that RETRO-scores negatively correlate with prediction error across 117 experimental settings, indicating that RETRO provides a useful measure to distinguish trustworthy predictions from untrustworthy ones. In a user study with 41 participants, we find that VIZ-explanations help users identify whether a prediction is trustworthy or not: on average, 95.1% of participants correctly select the more trustworthy prediction, given a pair of predictions. In addition, an average of 75.6% of participants can accurately describe why a prediction seems to be (not) trustworthy. Finally, we find that the vast majority of users subjectively experience RETRO-VIZ as a useful tool to assess the trustworthiness of algorithmic predictions.

研究动机与目标

• 解决在缺乏真实误差标签时，回归模型中个体预测可信度估计的缺失问题。
• 开发一种可量化估计可信度并提供可操作解释的方法，说明预测为何可能不可靠。
• 评估用户是否能有效利用所提方法，在真实世界的人机混合决策场景中识别可信预测及其原因。
• 弥合回归任务中不确定性估计与可解释性之间的差距，尤其针对生产环境中使用的复杂模型。

提出的方法

• RETRO 通过测量模型预测与参考数据集中其最近邻预测之间的一致性，计算可信度评分。
• 该方法基于案例推理原理，假设相似输入应产生相似输出，并将预测偏差量化为不可信度的度量。
• VIZ 通过将测试样本与其最近邻一起绘制，生成可视化解释，突出显示特征相似性与预测差异。
• RETRO 评分范围为 0（不可信）至 1（可信），评分越低表示预测误差越高。
• 该方法与模型无关，适用于任何回归模型，仅依赖于特征空间和预测输出。
• 通过跨模型架构、数据维度和误差类型的消融研究，以及包含 41 名参与者的用户研究，对方法进行了评估。

实验结果

研究问题

• RQ1 RQ1：RETRO 评分是否与预测误差相关？若相关，相关程度如何？
• RQ2 RQ2：在不同模型架构、数据维度和误差成因下，RETRO 在何种条件下表现最佳？
• RQ3 RQ3：VIZ 解释是否客观上帮助用户识别预测是否可信及其原因？
• RQ4 RQ4：用户在实际应用中是否主观认为 VIZ 解释具有价值？

主要发现

• 在全部 117 个实验设置中，RETRO 评分与预测误差均呈现显著负相关，证实评分越低表示误差越高。
• 在包含 41 名参与者的用户研究中，VIZ 图表显著提升了用户识别可信预测及其根本原因的能力，即使未提供 RETRO 评分亦然。
• 多数用户（p ≤ 0.05）表示 VIZ 图表易于理解，有助于检测可信度，并对实际决策具有价值。
• 用户仅凭 VIZ 图表即可区分可信与不可信预测，表明可视化解释可作为独立的可信度指标。
• 主观评估显示用户对 VIZ 图表在理解预测可靠性方面满意度高，但未发现使用额外工具是否必要的显著差异。
• 结果表明，RETRO-VIZ 通过结合定量可信度估计与可解释的可视化反馈，有效支持了人机协作。