[论文解读] Types of Cost in Inductive Concept Learning

Peter D. Turney|ArXiv.org|Dec 11, 2002

Imbalanced Data Classification Techniques参考文献 25被引用 330

一句话总结

本文提出了一套关于归纳概念学习中成本类型的全面分类法，将超出误分类误差的多种现实世界成本（如数据收集、标注、计算和部署成本）进行分类。通过系统性地组织这些成本类型，该研究为未来在成本敏感学习领域的研究提供了基础性框架，鼓励对机器学习应用中实际成本的全谱系进行更深入的探究。

ABSTRACT

Inductive concept learning is the task of learning to assign cases to a discrete set of classes. In real-world applications of concept learning, there are many different types of cost involved. The majority of the machine learning literature ignores all types of cost (unless accuracy is interpreted as a type of cost measure). A few papers have investigated the cost of misclassification errors. Very few papers have examined the many other types of cost. In this paper, we attempt to create a taxonomy of the different types of cost that are involved in inductive concept learning. This taxonomy may help to organize the literature on cost-sensitive learning. We hope that it will inspire researchers to investigate all types of cost in inductive concept learning in more depth.

研究动机与目标

• 识别并分类现实世界归纳概念学习应用中出现的各种成本类型。
• 弥补机器学习文献中的研究空白，即目前主要关注误分类成本，而忽略了其他实际成本因素。
• 提供一个结构化的分类法，以系统组织现有及潜在的成本类型，提升理解清晰度并促进未来研究。
• 激励研究人员超越准确率和错误率，探究概念学习中全部成本因素。
• 通过揭示被忽视的成本维度，支持开发更真实、更实用的成本敏感学习系统。

提出的方法

• 作者对现实世界机器学习应用进行系统性分析，以识别反复出现的成本因素。
• 根据成本在学习流程中的来源和发生时间（如数据获取、标注、模型训练、部署等）对成本类型进行分类。
• 通过整合现有文献与实际应用机器学习场景中的观察，进行概念性综合以构建分类法。
• 为每类成本提供示例，并在学习生命周期中明确其上下文，以阐明其影响与测量方式。
• 通过将已知的成本敏感学习方法映射到该分类法中，验证框架的适用性。
• 论文采用与ACM和MSC学科主题分类一致的分类体系，以确保学术严谨性与一致性。

实验结果

研究问题

• RQ1 在归纳概念学习中，除误分类误差外，还存在哪些不同类型的成本？
• RQ2 不同成本类型（如数据收集、标注、计算）如何影响机器学习系统的设计与评估？
• RQ3 为何机器学习社区在以往研究中大多忽略了非误分类成本？
• RQ4 统一的成本类型分类法如何提升成本敏感学习算法的开发？
• RQ5 全面的成本分类法对概念学习系统在现实世界中的部署具有哪些实际影响？

主要发现

• 本文识别并分类了归纳概念学习中的多种成本类型，包括数据获取、标注、计算和部署成本。
• 许多现实世界成本（如人工标注成本或系统维护成本）在机器学习文献中系统性地被低估。
• 该分类法揭示了不同成本类型在时间发生、可度量性以及对系统设计与性能影响方面存在显著差异。
• 该框架通过明确成本因素，使机器学习研究与现实应用约束之间实现更好对齐。
• 本研究证明，忽略非误分类成本会导致对学习系统评估的不完整甚至具有误导性。
• 该分类法为未来研究探索算法设计与系统优化中各类成本之间的权衡关系奠定了基础。