[论文解读] Practitioner Motives to Use Different Hyperparameter Optimization Methods

Niclas Kannengießer, Niklas Hasebrook+6 more|arXiv (Cornell University)|Mar 3, 2022

Machine Learning and Data Classification被引用 7

一句话总结

本研究识别了驱动机器学习从业者选择超参数优化（HPO）方法的非技术性动机，发现减少工作量、计算资源限制以及提升模型理解能力等因素，往往比技术效率更为重要。通过结合20次访谈与71名参与者的调查的混合方法研究，揭示了影响HPO方法选择的六个核心目标和14个情境因素，为以用户为中心的HPO工具设计奠定了基础，弥合了自动机器学习（AutoML）中社会技术与技术研究之间的鸿沟。

ABSTRACT

Programmatic hyperparameter optimization (HPO) methods, such as Bayesian optimization and evolutionary algorithms, are highly sample-efficient in identifying optimal hyperparameter configurations for machine learning (ML) models. However, practitioners frequently use less efficient methods, such as grid search, which can lead to under-optimized models. We suspect this behavior is driven by a range of practitioner-specific motives. Practitioner motives, however, still need to be clarified to enhance user-centered development of HPO tools. To uncover practitioner motives to use different HPO methods, we conducted 20 semi-structured interviews and an online survey with 49 ML experts. By presenting main goals (e.g., increase ML model understanding) and contextual factors affecting practitioners' selection of HPO methods (e.g., available computer resources), this study offers a conceptual foundation to better understand why practitioners use different HPO methods, supporting development of more user-centered and context-adaptive HPO tools in automated ML.

研究动机与目标

• 理解为何机器学习从业者在有更高效替代方案（如贝叶斯优化）可用的情况下，仍常选择样本效率较低的HPO方法（如网格搜索或手动调参）。
• 识别影响从业者HPO方法选择的潜在动机，包括个人目标与情境约束。
• 通过结合定性访谈与定量调查的混合方法研究，为这些动机的外部有效性提供实证证据。
• 通过连接HPO的社会维度与技术维度，为设计以用户为中心、适应情境的HPO工具提供建议。
• 为未来研究人类在HPO中的决策启发式方法及其在自动化AutoML系统中的整合奠定基础。

提出的方法

• 对20名机器学习从业者进行半结构化访谈，以探究其选择特定HPO方法的动机。
• 通过在线调查对71名机器学习专家进行调查，以验证和推广访谈发现。
• 对访谈记录进行主题分析，识别影响HPO方法选择的重复出现的目标与情境因素。
• 利用调查数据评估所识别动机的外部有效性，并量化其在从业者中的普遍程度。
• 将HPO方法划分为四类主要类型：贝叶斯优化、手动调参、网格搜索与随机搜索，重点关注其感知到的权衡。
• 将从业者行为（如定义搜索范围与选择超参数）与决策启发式方法对应，揭示HPO中隐含的认知策略。

实验结果

研究问题

• RQ1 从业者在选择超参数优化方法时，主要追求哪些核心目标？
• RQ2 哪些情境因素影响从业者在不同HPO方法之间的选择决策？
• RQ3 为何从业者在有更高效替代方案的情况下，仍频繁选择样本效率较低的HPO方法（如网格搜索或手动调参）？
• RQ4 从业者主观目标与环境约束如何相互作用，共同塑造其HPO方法选择？
• RQ5 所识别的动机在更广泛的机器学习从业者群体中有多大程度得到验证？

主要发现

• 从业者常优先考虑减少个人工作量、降低计算成本以及提升模型可解释性，而非单纯追求样本效率。
• 计算资源有限、时间压力以及对高级HPO工具不熟悉等情境因素，显著影响方法选择。
• 尽管贝叶斯优化在样本效率上表现更优，但因其感知到的复杂性与缺乏透明度而使用率较低，导致从业者更倾向于选择网格搜索或手动调参。
• 多数从业者报告使用网格搜索并非出于无知，而是因其具备可预测性、可复现性与实现简便性。
• 本研究识别出六个核心目标（如模型理解与降低错误风险），这些目标在技术性HPO评估中常被忽视。
• 研究结果表明，当前HPO工具未能充分考虑从业者需求的全貌，提示AutoML系统需采用情境感知、以用户为中心的设计。