[论文解读] SparseMAP: Differentiable Sparse Structured Inference

Vlad Niculae, André F. T. Martins+2 more|arXiv (Cornell University)|Feb 12, 2018

Topic Modeling参考文献 40被引用 37

一句话总结

本文提出SparseMAP，一种可微分的稀疏结构化推理方法，通过选择少量高分结构而非单一MAP解或密集的边缘分布，实现高效、可微分的深层神经网络训练。该方法仅依赖MAP预言机并利用稀疏性，使具有结构化隐藏层的深度网络能够实现高效、可微分的端到端训练，在依存句法分析和自然语言蕴含任务中实现了具有竞争力的准确率，并提升了可解释性。

ABSTRACT

Structured prediction requires searching over a combinatorial number of structures. To tackle it, we introduce SparseMAP: a new method for sparse structured inference, and its natural loss function. SparseMAP automatically selects only a few global structures: it is situated between MAP inference, which picks a single structure, and marginal inference, which assigns probability mass to all structures, including implausible ones. Importantly, SparseMAP can be computed using only calls to a MAP oracle, making it applicable to problems with intractable marginal inference, e.g., linear assignment. Sparsity makes gradient backpropagation efficient regardless of the structure, enabling us to augment deep neural networks with generic and sparse structured hidden layers. Experiments in dependency parsing and natural language inference reveal competitive accuracy, improved interpretability, and the ability to capture natural language ambiguities, which is attractive for pipeline systems.

研究动机与目标

• 解决传统MAP和边缘推理在结构化预测中的局限性，特别是其缺乏稀疏性和可解释性。
• 开发一种可微分的推理方法，平衡MAP（稀疏性）与边缘推理（可微分性）的优势，实现具有结构化隐藏层的深层神经网络的端到端训练。
• 提供一种通用、模块化的框架，适用于任何具有可 tractable MAP推理的结构化问题，包括线性分配等边缘推理不可行的情况。
• 提出一种新型结构化预测损失函数，继承SparseMAP的稀疏性与可微分性，提升模型可解释性与性能。

提出的方法

• SparseMAP被表述为在所有可能结构的凸包上的凸优化问题，促进仅由少数高分结构组成的稀疏组合解。
• 该方法使用二次正则化项以诱导稀疏性，确保输出分布中仅有少量结构获得非零权重。
• 前向传播通过投影梯度法计算，仅需反复调用MAP预言机，适用于边缘推理不可行的问题（如线性分配）。
• 反向传播通过次梯度微分推导，并重用前向传播中的量，实现与结构类型无关的高效且通用的反向传播。
• 该方法将sparsemax变换推广至结构化空间，将稀疏性诱导特性从非结构化输出扩展至结构化输出。
• 所提出的SparseMAP损失函数源自同一优化框架，支持使用可微分监督进行端到端训练。

实验结果

研究问题

• RQ1 我们能否设计一种既可微分又稀疏的结构化推理方法，避免边缘推理的密集输出和MAP的单一结构限制？
• RQ2 我们能否仅使用MAP预言机高效计算稀疏结构化推理，而无需复杂、问题特定的反向传播？
• RQ3 在模糊的自然语言任务中，使用SparseMAP进行结构化预测是否能带来更高的准确率与可解释性？
• RQ4 SparseMAP能否有效用作深层神经网络中的可微分、稀疏结构化隐藏层，实现端到端训练？

主要发现

• 在依存句法分析任务中，使用SparseMAP损失训练的模型实现了具有竞争力的准确率，同时生成了稀疏且可解释的预测，能自适应输入中的模糊性。
• 在自然语言蕴含任务中，SparseMAP学习到的潜在结构化对齐比基于softmax的对应方法稀疏一个数量级以上，准确率相当但可解释性显著提升。
• 尽管存在GPU内存开销，但SparseMAP的训练与验证时间与softmax相当或更快，尤其当模型预测更确定时，稀疏性带来显著优势。
• 与边缘推理相比，该方法展现出计算优势：Kim等人（2017）报告边缘推理导致5倍速度下降，而SparseMAP保持高效的训练时间。
• SparseMAP损失及其梯度仅通过MAP预言机高效计算，支持模块化集成至现有深度学习流水线。
• 实验验证表明，SparseMAP解是少数关键结构的稀疏组合，相比密集边缘推理，具有更高的统计效率与更优的定性可解释性。