[论文解读] Structured Prediction Problem Archive

Paul Swoboda, Andres, Bjoern+7 more|arXiv (Cornell University)|Feb 4, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文介绍了结构化预测问题档案库（Structured Prediction Problem Archive），这是一个集中化的基准数据集仓库，涵盖多种结构化预测问题——包括整数线性规划、马尔可夫随机场（MRFs）、Multicut 和离散层析成像——并以标准求解器兼容的格式组织。该档案库通过提供问题实例、元数据和现有算法的参考文献，支持标准化的算法评估，推动了机器学习中组合优化研究的可重现性与可比性。

ABSTRACT

Structured prediction problems are one of the fundamental tools in machine learning. In order to facilitate algorithm development for their numerical solution, we collect in one place a large number of datasets in easy to read formats for a diverse set of problem classes. We provide archival links to datasets, description of the considered problems and problem formats, and a short summary of problem characteristics including size, number of instances etc. For reference we also give a non-exhaustive selection of algorithms proposed in the literature for their solution. We hope that this central repository will make benchmarking and comparison to established works easier. We welcome submission of interesting new datasets and algorithms for inclusion in our archive.

研究动机与目标

• 解决在多种机器学习和计算机视觉应用中，结构化预测问题缺乏标准化、可访问的基准数据集的问题。
• 通过将问题实例集中存储于单一、文档齐全的仓库中，降低不同研究之间算法性能比较的难度。
• 通过提供具有已知格式和元数据的问题实例，支持精确解算器和近似解算器的开发与评估。
• 通过保存并组织来自多个问题类别的数据集，促进组合优化研究的可重现性与持续进展。
• 作为社区资源，支持未来新数据集和算法的提交，推动长期基准测试的延续性。

提出的方法

• 该档案库从多个领域收集结构化预测问题，并将其编码为标准化文件格式，包括用于整数线性规划的LP格式和用于马尔可夫随机场的UAI格式。
• 每个数据集均附带元数据，包括问题规模、实例数量和来源引用，以支持系统化的基准测试。
• 问题被划分为12个问题类别，如Multicut、非对称多路切割（Asymmetric Multiway Cut）和离散层析成像，每个类别均有专用的文件格式规范。
• 通过提供代表计算机视觉和机器学习中真实世界挑战的问题实例，该档案库支持精确和近似解算器的使用。
• 针对每个问题类别，作者定义了文件格式（例如，用于MRFs和瓶颈MRFs的扩展UAI格式），以确保与现有解算器的兼容性。
• 档案库包含指向托管在安全、持久存储系统（如keeper.mpdl.mpg.de）上的数据集的链接，确保长期可访问性。

实验结果

研究问题

• RQ1 集中化、持久化的结构化预测问题实例仓库在算法基准测试中如何提升可重现性与可比性？
• RQ2 在不同应用领域中，代表性结构化预测问题的关键特征（规模、结构、约束）是什么？
• RQ3 标准化问题格式和共享数据集在多大程度上能减少算法开发过程中数据集获取与预处理的开销？
• RQ4 包含多样化问题类别（如Multicut、离散层析成像、瓶颈MRFs）如何支持通用解算器的评估？
• RQ5 社区驱动的整理工作在维护可持续且持续演进的结构化预测基准测试基础设施中扮演何种角色？

主要发现

• 档案库托管了来自合成30×30图像的超过2700个离散层析成像实例，投影数量和3种灰度级别各不相同，还包括更大的'Logan'图像实例。
• 档案库包含10个基准数据集，覆盖12个问题类别，例如用于Multicut的CREMI和Cityscapes，以及用于瓶颈MRFs的Horizon Tracking，每个数据集均配有持久的URL。
• 针对每个问题类别，作者提供了标准化的文件格式（例如，用于MRFs和瓶颈MRFs的扩展UAI格式），以确保与现有解算器和工具的兼容性。
• 档案库引用了15种以上文献中已建立的算法，包括次梯度法、捆绑求解器和拉格朗日分解法，支持直接比较。
• 数据集托管在可靠、持久的存储系统（keeper.mpdl.mpg.de）上，确保长期可用性，并可通过直接下载链接访问。
• 该项目使研究人员能够基于一组一致的实例对新解算器进行基准测试，减少了数据集整理的工作量，提高了性能比较的可靠性。