[论文解读] Neural Learning of One-of-Many Solutions for Combinatorial Problems in Structured Output Spaces

Yatin Nandwani, Deepanshu Jindal+2 more|arXiv (Cornell University)|Aug 27, 2020

Image Retrieval and Classification Techniques参考文献 29被引用 4

一句话总结

本文提出了一种名为 One-of-Many Learning (1oML) 的新型框架，用于通过显式建模解的多重性，训练神经网络以解决结构化输出空间中的组合问题。该框架提出了一种基于强化学习的选优模块（SelectR），在训练过程中动态选择最具信息量的解，显著提升了泛化能力，并在数独、N-皇后和 Futoshiki 任务中相较基线模型最高实现 21 分的准确率提升。

ABSTRACT

Recent research has proposed neural architectures for solving combinatorial problems in structured output spaces. In many such problems, there may exist multiple solutions for a given input, e.g. a partially filled Sudoku puzzle may have many completions satisfying all constraints. Further, we are often interested in finding any one of the possible solutions, without any preference between them. Existing approaches completely ignore this solution multiplicity. In this paper, we argue that being oblivious to the presence of multiple solutions can severely hamper their training ability. Our contribution is two fold. First, we formally define the task of learning one-of-many solutions for combinatorial problems in structured output spaces, which is applicable for solving several problems of interest such as N-Queens, and Sudoku. Second, we present a generic learning framework that adapts an existing prediction network for a combinatorial problem to handle solution multiplicity. Our framework uses a selection module, whose goal is to dynamically determine, for every input, the solution that is most effective for training the network parameters in any given learning iteration. We propose an RL based approach to jointly train the selection module with the prediction network. Experiments on three different domains, and using two different prediction networks, demonstrate that our framework significantly improves the accuracy in our setting, obtaining up to 21 pt gain over the baselines.

研究动机与目标

• 为现有神经模型在组合问题（如数独和 N-皇后）中忽略解的多重性这一关键空白提供解决方案。
• 形式化 One-of-Many Learning (1oML) 任务，即模型需从一组可能的解中预测任意一个有效解。
• 通过在每次训练迭代中动态选择最具信息量的解用于反向传播，提升训练效率与泛化能力。
• 开发一种通用的、端到端可训练的框架，兼容任何非自回归预测网络，用于结构化输出预测。
• 证明解的多重性这一常被视为噪声的特性，可被利用为信号以提升模型的鲁棒性与准确率。

提出的方法

• 提出一种新型的多重性感知损失（CC-Loss），并识别其在非自回归结构化输出模型中的局限性。
• 引入 MinLoss，一种贪心基线方法，选择与当前预测最接近的真实解用于损失反向传播。
• 开发 I-ExplR，一种有意识的探索策略，利用预测网络采样超出最近邻范围的多样化解。
• 提出 SelectR，一种基于强化学习的选优模块，学习策略以选择能最大化长期训练进展的解。
• 通过强化学习联合训练预测网络与选优模块，实现对次优但全局有益解的探索。
• 采用策略梯度方法优化选优模块，在解空间中平衡探索与利用。

实验结果

研究问题

• RQ1 显式建模解的多重性是否能提升神经网络在组合问题上的泛化能力与准确率？
• RQ2 解的多重性如何影响非自回归神经求解器的训练动态与性能表现？
• RQ3 在多解设置下，学习到的选优机制是否能超越贪心或随机选择训练目标的性能？
• RQ4 基于强化学习的选优策略是否能带来优于启发式或基于预测的探索策略的泛化性能？
• RQ5 在仅使用全部可能解的子集进行训练的情况下，模型在解集规模较大的输入上仍能保持良好泛化能力的程度如何？

主要发现

• 在数独、Futoshiki 和 N-皇后任务中，SelectR 相较朴素基线模型最高实现 21 分的准确率提升，且在多解查询中准确率提升达 13–52 分。
• 基于强化学习的 SelectR 显著优于 MinLoss，p 值分别为 1.00e-16（N-皇后）、0.03（Futoshiki）和 1.69e-18（数独），表明统计上显著的性能提升。
• I-ExplR 在三项任务中的两项上优于 MinLoss，但在所有领域均逊于 SelectR，凸显基于强化学习的探索策略的优势。
• 即使每输入仅训练最多 5 个解（尽管真实解集更大），SelectR 仍取得显著性能提升，表明其对不完整解集的鲁棒性。
• 随着解集规模增大，模型性能下降，但 SelectR 在所有领域中仍保持最强的鲁棒性。
• 该框架在不同预测网络与组合问题（包括数独、N-皇后和 Futoshiki）中均表现出通用性与高效性。