[论文解读] Neural Ensemble Search for Performant and Calibrated Predictions.
本文提出了一种神经架构搜索（NAS）框架，通过探索多样化的架构直接优化集成性能，而非对固定架构的网络进行集成。通过联合搜索并组合多个不同的神经架构，该方法在准确率、分布外扰动下的鲁棒性以及不确定性校准方面均优于标准集成方法。
Ensembles of neural networks achieve superior performance compared to stand-alone networks not only in terms of accuracy on in-distribution data but also on data with distributional shift alongside improved uncertainty calibration. Diversity among networks in an ensemble is believed to be key for building strong ensembles, but typical approaches only ensemble different weight vectors of a fixed architecture. Instead, we investigate neural architecture search (NAS) for explicitly constructing ensembles to exploit diversity among networks of varying architectures and to achieve robustness against distributional shift. By directly optimizing ensemble performance, our methods implicitly encourage diversity among networks, without the need to explicitly define diversity. We find that the resulting ensembles are more diverse compared to ensembles composed of a fixed architecture and are therefore also more powerful. We show significant improvements in ensemble performance on image classification tasks both for in-distribution data and during distributional shift with better uncertainty calibration.
研究动机与目标
- 为解决标准神经网络集成方法依赖固定架构且缺乏显式多样性的局限性。
- 提升模型在分布外扰动下的鲁棒性与不确定性校准能力。
- 探究NAS是否能隐式促进多样性并提升集成性能。
- 开发一种直接优化集成层面性能的方法，而无需显式的多样性正则化。
提出的方法
- 该方法执行神经架构搜索（NAS），以识别一组多样化的神经网络架构，使其集体最大化集成性能。
- 与仅固定架构并仅调整权重的方法不同，该方法在架构空间中进行搜索，以引入结构多样性。
- 在NAS过程中直接优化集成性能，从而隐式鼓励组成网络之间的多样性。
- 搜索过程基于验证数据上的集体预测性能与校准性来评估并选择架构。
- 最终的集成通过结合多个不同架构的预测结果，利用其互补优势。
实验结果
研究问题
- RQ1NAS能否用于构建性能优于固定架构集成的集成模型？
- RQ2对集成性能的直接优化是否能导致组成网络间更大的多样性？
- RQ3与标准集成相比，所提出的集成方法在分布外扰动下的表现如何？
- RQ4该方法在多大程度上改善了不确定性校准？
主要发现
- 所提出的集成方法在图像分类任务中，无论在分布内还是分布外设置下，均显著提升了准确率。
- 通过NAS构建的集成展现出高于标准固定架构网络集成的多样性。
- 该方法在不确定性校准方面表现更优，尤其在分布外扰动下。
- 性能提升可归因于通过联合架构与集成优化所诱导的隐式多样性。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。