[论文解读] Unsupervised Learning for Combinatorial Optimization with Principled Objective Relaxation

Haoyu Wang, Nan Wu+3 more|arXiv (Cornell University)|Jul 13, 2022

Ferroelectric and Negative Capacitance Devices被引用 4

一句话总结

本文提出了一种基于目标函数逐元素凹松弛的有原则的无监督学习框架，用于组合优化（CO），通过反向传播实现端到端训练。关键贡献在于理论保证：在松弛后的凹目标函数中实现低优化损失，可确保经过舍入后获得高质量的整数解，显著优于基线方法在电路设计和近似计算等代理型CO问题上的表现。

ABSTRACT

Using machine learning to solve combinatorial optimization (CO) problems is challenging, especially when the data is unlabeled. This work proposes an unsupervised learning framework for CO problems. Our framework follows a standard relaxation-plus-rounding approach and adopts neural networks to parameterize the relaxed solutions so that simple back-propagation can train the model end-to-end. Our key contribution is the observation that if the relaxed objective satisfies entry-wise concavity, a low optimization loss guarantees the quality of the final integral solutions. This observation significantly broadens the applicability of the previous framework inspired by Erdos' probabilistic method. In particular, this observation can guide the design of objective models in applications where the objectives are not given explicitly while requiring being modeled in prior. We evaluate our framework by solving a synthetic graph optimization problem, and two real-world applications including resource allocation in circuit design and approximate computing. Our framework largely outperforms the baselines based on naïve relaxation, reinforcement learning, and Gumbel-softmax tricks.

研究动机与目标

• 为解决在无标签数据下求解组合优化问题的挑战，特别是在目标函数昂贵或隐式难以评估的代理型CO设置中。
• 开发一种通用的无监督学习框架，避免依赖强化学习或高成本标注，同时保持解的质量。
• 建立理论基础，通过逐元素凹松弛将松弛损失低与高质量离散解联系起来。
• 通过参数化可微分目标函数，实现神经网络在无标签数据上的端到端训练。
• 在合成与真实世界的CO问题（包括电路资源分配和近似计算）上展示该框架的有效性。

提出的方法

• 该框架采用松弛-舍入流程：将离散CO目标函数松弛为由神经网络参数化的连续、逐元素凹函数。
• 在无标签数据上通过标准反向传播优化松弛目标函数，实现端到端训练。
• 关键理论贡献在于证明：若松弛目标函数为逐元素凹函数，则低代价的软解可保证在确定性顺序舍入后获得高质量的整数解。
• 通过归一化惩罚项（如 $ g_r(\bar{X};C) = \frac{n - \sum \bar{X}_i}{n-t} $）引入约束，确保可行性。
• 使用损失函数 $ l_r(\bar{X};C) = f_r(\bar{X};C) + \beta \cdot g_r(\bar{X};C) $ 进行模型训练，其中 $ \beta $ 选择为能主导目标函数的值。
• 推理阶段，模型以阈值 $ t $ 作为输入，动态适应不同约束水平，使单一模型可处理多种配置。

实验结果

研究问题

• RQ1 能否通过目标函数的逐元素凹松弛确保在无监督组合优化中获得高质量的离散解？
• RQ2 如何系统性地将无监督学习应用于目标函数未显式定义的代理型CO问题？
• RQ3 在可微分、凹松弛中实现低损失，是否能转化为舍入后最终离散解的优异性能？
• RQ4 该框架在解质量与训练稳定性方面，能否优于强化学习和基于Gumbel-softmax的方法？
• RQ5 单一神经网络模型在资源约束优化中，对不同约束阈值的泛化能力在多大程度上成立？

主要发现

• 所提出的框架在求解合成与真实世界CO问题时，显著优于基于朴素松弛、强化学习和Gumbel-softmax的基线方法。
• 逐元素凹松弛确保低代价软解在确定性舍入后可获得高质量整数解，提供了理论上的性能保证。
• 在电路资源分配任务中，该模型在不同阈值下均实现了比其他方法更高的最优解恢复概率。
• 通过将阈值 $ t $ 作为输入条件，该框架使单一模型能够泛化于多种约束水平（如不同A×C单元使用阈值）。
• 与监督学习和基于强化学习的替代方法相比，该方法在大规模问题上展现出更优的训练速度、泛化能力与可扩展性。
• 代码与数据集已公开，支持可复现性，并推动该框架在代理型CO应用中的广泛应用。