[论文解读] Subgroup Robustness Grows On Trees: An Empirical Baseline Investigation

Josh Gardner, Zoran Popović+1 more|arXiv (Cornell University)|Nov 23, 2022

Ethics and Social Impacts of AI被引用 5

一句话总结

本文通过在八个数据集上对公平性与鲁棒性方法与最先进的树模型进行实证比较，研究了表格机器学习中的子组鲁棒性。尽管未明确设定鲁棒性目标，但XGBoost和LightGBM等树集成模型在所有八个数据集中均实现了与竞争性或更优的最差子组准确率，优于专门设计的公平性与鲁棒性方法，且所需超参数调优更少、计算成本更低。

ABSTRACT

Researchers have proposed many methods for fair and robust machine learning, but comprehensive empirical evaluation of their subgroup robustness is lacking. In this work, we address this gap in the context of tabular data, where sensitive subgroups are clearly-defined, real-world fairness problems abound, and prior works often do not compare to state-of-the-art tree-based models as baselines. We conduct an empirical comparison of several previously-proposed methods for fair and robust learning alongside state-of-the-art tree-based methods and other baselines. Via experiments with more than $340{,}000$ model configurations on eight datasets, we show that tree-based methods have strong subgroup robustness, even when compared to robustness- and fairness-enhancing methods. Moreover, the best tree-based models tend to show good performance over a range of metrics, while robust or group-fair models can show brittleness, with significant performance differences across different metrics for a fixed model. We also demonstrate that tree-based models show less sensitivity to hyperparameter configurations, and are less costly to train. Our work suggests that tree-based ensemble models make an effective baseline for tabular data, and are a sensible default when subgroup robustness is desired. For associated code and detailed results, see https://github.com/jpgard/subgroup-robustness-grows-on-trees .

研究动机与目标

• 为解决表格数据中子组鲁棒性缺乏全面实证评估的问题，特别是公平性与鲁棒性方法与强基线模型之间的比较。
• 评估在鲁棒性文献中常被忽视的树模型是否可作为子组鲁棒性的有效基线。
• 分析鲁棒性与公平性方法对超参数配置和训练成本的敏感性。
• 通过广泛的超参数搜索，在多种模型与数据集上建立子组鲁棒性的性能边界。
• 证明树模型在极少调优下即可实现高最差子组准确率，表明其作为默认基线的实用性。

提出的方法

• 在八个表格数据集上开展了大规模实证研究，共配置超过34万种模型。
• 评估了17类模型，包括公平性感知方法（如DRO、Group DRO、inprocessing）、鲁棒性方法（如DORO、MWLD）以及树模型（XGBoost、LightGBM、Random Forest）。
• 使用性能边界曲线可视化不同模型在整体准确率与最差子组准确率之间的权衡。
• 应用超参数敏感性分析，评估模型在不同配置下的稳定性。
• 采用标准指标报告结果：整体准确率与最差子组准确率，辅以模型特定的超参数调优。
• 收集并报告默认超参数下的性能，以评估开箱即用的鲁棒性。

实验结果

研究问题

• RQ1 树模型在表格数据中是否实现了与最先进的公平性与鲁棒性方法相当或更优的子组鲁棒性？
• RQ2 与树模型相比，公平性与鲁棒性方法对超参数选择的敏感性如何？
• RQ3 增强鲁棒性与公平性的模型相较于树基线，其计算成本与训练效率如何？
• RQ4 树模型能否作为表格机器学习中子组鲁棒性的强健、稳定且高效的基线？
• RQ5 在多个数据集上，树模型的性能边界与专门设计的鲁棒性与公平性方法相比如何？

主要发现

• 在所有八个数据集中，XGBoost和LightGBM等树模型实现的最差子组准确率与Group DRO、DORO等专门设计的公平性与鲁棒性方法相当或更优。
• XGBoost在LARC数据集上实现了最高的最差子组准确率（0.728），并在Income数据集上以0.824的第二高整体准确率超越了调优后的DRO与DORO变体。
• 树模型的超参数敏感性显著低于公平性与鲁棒性方法，实现有效调优所需迭代次数更少。
• 表现最佳的树模型在多个指标上均表现强劲，而公平性与鲁棒性模型常表现出脆弱性，各指标间性能差异显著。
• 树模型所需计算成本更低，对训练条件（如CPU负载）的敏感性也更低，仅在小型German数据集上观察到轻微性能下降。
• 即使使用默认超参数，XGBoost与LightGBM等树模型也实现了高最差子组准确率（如Adult数据集0.735，LARC数据集0.728），展现出强大的开箱即用鲁棒性。