[论文解读] The Many-to-Many Mapping Between the Concordance Correlation Coefficient and the Mean Square Error

Vedhas Pandit, Björn W. Schuller|arXiv (Cornell University)|Feb 13, 2019

Advanced Statistical Methods and Models被引用 13

一句话总结

本文建立了均方误差（MSE）与组内一致性相关系数（CCC）之间的精确多对多映射关系，揭示了更低的MSE并不保证更高的CCC。研究推导出闭式数学关系，明确给出了在任意给定MSE下可实现的CCC值的精确范围，并识别出在何种条件下MSE最小化无法优化CCC，为多变量回归中基于CCC的损失函数设计提供了理论基础。

ABSTRACT

We derive the mapping between two of the most pervasive utility functions, the mean square error ($MSE$) and the concordance correlation coefficient (CCC, $\ ho_c$). Despite its drawbacks, $MSE$ is one of the most popular performance metrics (and a loss function); along with lately $\ ho_c$ in many of the sequence prediction challenges. Despite the ever-growing simultaneous usage, e.g., inter-rater agreement, assay validation, a mapping between the two metrics is missing, till date. While minimisation of $L_p$ norm of the errors or of its positive powers (e.g., $MSE$) is aimed at $\ ho_c$ maximisation, we reason the often-witnessed ineffectiveness of this popular loss function with graphical illustrations. The discovered formula uncovers not only the counterintuitive revelation that `$MSE_1<MSE_2$' does not imply `$\ ho_{c_1}>\ ho_{c_2}$', but also provides the precise range for the $\ ho_c$ metric for a given $MSE$. We discover the conditions for $\ ho_c$ optimisation for a given $MSE$; and as a logical next step, for a given set of errors. We generalise and discover the conditions for any given $L_p$ norm, for an even p. We present newly discovered, albeit apparent, mathematical paradoxes. The study inspires and anticipates a growing use of $\ ho_c$-inspired loss functions e.g., $\\left|\\frac{MSE}{\\sigma_{XY}}\ ight|$, replacing the traditional $L_p$-norm loss functions in multivariate regressions.

研究动机与目标

• 解决回归与一致性分析中MSE与CCC这两个最广泛使用的指标之间长期缺乏直接映射关系的问题。
• 揭示在序列预测和评分者间一致性任务中，最小化MSE与最大化CCC之间存在的根本性脱节。
• 推导出精确的数学关系，以定义在任意给定MSE下可实现的CCC值的范围，从而实现性能的精确解读。
• 将这些发现推广至偶次Lp范数（如L4、L6），揭示常见评估指标中更深层的结构悖论。
• 激发对基于CCC的损失函数（如|MSE/σXY|）的采用，作为多变量回归中传统Lp-范数损失的替代方案。

提出的方法

• 基于CCC定义为皮尔逊相关系数（ρ）与精确度-准确度惩罚项（Cb）乘积的特性，推导出MSE与CCC之间的闭式解析映射关系。
• 通过代数方法对CCC公式进行变换，将CCC表示为MSE、均值与方差的函数，揭示其非单调、多对多的关系特性。
• 应用重排不等式与切比雪夫求和不等式，分析在固定MSE下使CCC最大或最小的误差极端配置。
• 将映射关系推广至偶次Lp范数（如L4、L6），表明相同的非单调行为依然存在。
• 通过与现有公式的对比验证研究结果，并提供开源代码以实现可复现性，使用真实世界数据（SEWA/AVEC’17）进行验证。

实验结果

研究问题

• RQ1 在回归与一致性分析中，MSE与CCC被广泛但常共用，能否建立它们之间的精确数学映射？
• RQ2 为何最小化MSE无法始终最大化CCC？其背后的根本结构性原因是什么？
• RQ3 在给定MSE下，可实现的CCC值的精确范围是什么？总体均值与方差如何约束该范围？
• RQ4 在固定MSE下，误差分布与排序如何影响CCC？能否解析推导出极端配置？
• RQ5 MSE与CCC之间的映射关系能否推广至其他Lp范数，特别是偶次范数？这对损失函数设计有何影响？

主要发现

• MSE与CCC之间的映射关系为多对多：单一MSE值可对应多个CCC值，反之亦然，这否定了‘更低MSE意味着更高CCC’的假设。
• 对于任意给定MSE，可实现的CCC范围是有限的，且明确依赖于预测序列与真实序列的均值与方差。
• 本文推导出闭式表达式，表明CCC可表示为MSE、标准差乘积以及均值差平方的函数。
• 研究表明，最小化MSE并不能保证最大化CCC，尤其在存在尺度与位置偏移时，因为CCC对这些分量分别施加惩罚。
• 作者通过重排不等式与切比雪夫求和不等式等工具，识别出在固定MSE下使CCC最大或最小的条件。
• 研究结果表明，基于CCC的损失函数（如|MSE/σXY|）在多变量回归中，相较于标准Lp-范数损失，提供了更合理的替代方案，尤其在对尺度与位置一致性要求较高的场景中。