[论文解读] Rethinking Streaming Machine Learning Evaluation

Shreya Shankar, Bernease Herman+1 more|arXiv (Cornell University)|May 23, 2022

Data Stream Mining Techniques被引用 4

一句话总结

本文主张，流式机器学习评估必须超越准确率单一指标，提出了一套指标组合——包括滑动窗口追踪、类别表示监控、重要性加权准确率估计以及损失分位数——以检测因概念漂移、标签延迟和数据分布变化导致的性能退化。其核心贡献是一个融合了近期性偏差和真实标签反馈的可操作、实时的模型监控框架。

ABSTRACT

While most work on evaluating machine learning (ML) models focuses on computing accuracy on batches of data, tracking accuracy alone in a streaming setting (i.e., unbounded, timestamp-ordered datasets) fails to appropriately identify when models are performing unexpectedly. In this position paper, we discuss how the nature of streaming ML problems introduces new real-world challenges (e.g., delayed arrival of labels) and recommend additional metrics to assess streaming ML performance.

研究动机与目标

• 识别仅依赖准确率进行流式机器学习评估的局限性。
• 解决流式机器学习中的现实挑战，包括标签延迟、类别表示变化和概念漂移。
• 提出一组可操作的、对近期性敏感的指标，以反映组织和任务特定的优先事项。
• 通过追踪子群表现和损失分布，使从业者能够更早检测到意外的模型失效。
• 倡导在生产机器学习系统中从基于批处理的评估框架转向流式感知的评估框架。

提出的方法

• 通过跟踪多个滑动窗口大小（例如，7天、每日）的准确率，评估窗口选择对指标可靠性的影响。
• 监控每个滑动窗口中正样本的比例，以检测类别表示的变化。
• 应用重要性加权（IW）方法，基于训练集表现和实时数据分布，估算每个子群（例如，取车地点）的准确率。
• 计算重要性加权估计值与实际准确率之间的差异，以检测概念漂移。
• 在滑动窗口上追踪损失分位数（例如，70th、90th），以识别高损失部分的误差上升趋势。
• 利用重要性加权估计值与真实准确率之间的差异作为模型再训练的早期信号。

实验结果

研究问题

• RQ1 窗口大小的选择在多大程度上影响准确率作为流式机器学习评估指标的可靠性？
• RQ2 随时间推移的类别表示变化在多大程度上扭曲了模型性能评估？
• RQ3 延迟或不完整的标签在多大程度上影响了流式环境中准确率指标的可解释性和可靠性？
• RQ4 重要性加权准确率估计是否能比标准准确率追踪更早检测到概念漂移？
• RQ5 损失分布指标如何帮助识别需要再训练的高风险数据段？

主要发现

• 基于累积窗口计算的准确率无法检测到性能下降，例如在新冠疫情初期，小费预测准确率出现显著下降。
• 7天滑动窗口虽能平滑准确率波动，但仍会掩盖性能的突然下降，尤其在类别不平衡加剧时更为明显。
• 标签延迟长达7天（呈指数分布）会导致准确率显得人为偏低或不一致，从而导致误导性评估。
• 基于取车地点的重要性加权准确率估计在2020年3月左右与真实准确率出现显著偏差，表明疫情相关行为变化引发的概念漂移。
• 在准确率下降之前，70%分位数损失显著上升，表明中等高损失预测中的误差正在增加，可指导针对性的再训练。
• 重要性加权估计差异与损失分位数的结合，可提供早期且可操作的再训练信号，从而更早发现性能退化。