[论文解读] On Controllable Sparse Alternatives to Softmax

Anirban Laha, Saneem Chemmengath+4 more|arXiv (Cornell University)|Oct 29, 2018

Domain Adaptation and Few-Shot Learning被引用 20

一句话总结

本文提出了一种统一的稀疏概率映射函数框架，该框架泛化了 softmax、sparsemax 及其他变体，通过两种新公式——sparsegen-lin 和 sparsehourglass，实现了对稀疏性的显式控制。该框架支持闭式解和反向传播，在多标签分类以及机器翻译和摘要等序列到序列任务中表现出更优的性能。

ABSTRACT

Converting an n-dimensional vector to a probability distribution over n objects is a commonly used component in many machine learning tasks like multiclass classification, multilabel classification, attention mechanisms etc. For this, several probability mapping functions have been proposed and employed in literature such as softmax, sum-normalization, spherical softmax, and sparsemax, but there is very little understanding in terms how they relate with each other. Further, none of the above formulations offer an explicit control over the degree of sparsity. To address this, we develop a unified framework that encompasses all these formulations as special cases. This framework ensures simple closed-form solutions and existence of sub-gradients suitable for learning via backpropagation. Within this framework, we propose two novel sparse formulations, sparsegen-lin and sparsehourglass, that seek to provide a control over the degree of desired sparsity. We further develop novel convex loss functions that help induce the behavior of aforementioned formulations in the multilabel classification setting, showing improved performance. We also demonstrate empirically that the proposed formulations, when used to compute attention weights, achieve better or comparable performance on standard seq2seq tasks like neural machine translation and abstractive summarization.

研究动机与目标

• 将 softmax、sparsemax 和 sum-normalization 等现有概率映射函数统一到一个理论框架之下。
• 解决现有稀疏映射中缺乏对稀疏性显式控制的问题。
• 为多标签分类任务设计新型凸损失函数，以适配所提出的公式。
• 通过闭式解实现子梯度支持，从而支持端到端学习。
• 在序列到序列任务的注意力机制中评估所提出的方法。

提出的方法

• 通过引入一个参数化的函数族，将现有映射泛化，使 softmax、sparsemax 和 sum-normalization 成为其特例。
• 所提出的 sparsegen-lin 公式通过线性约束控制稀疏性，可显式调节非零输出的数量。
• sparsehourglass 公式引入两阶段优化过程：首先识别激活的组件，然后进行归一化，从而实现灵活的稀疏性控制。
• 通过凸优化确保子梯度的存在性，使深度学习模型中可实现反向传播。
• 设计了新型凸损失函数，以在多标签分类中诱导期望的稀疏性行为。
• 通过在序列到序列模型中用所提出的稀疏替代方案替换标准 softmax，对方法在注意力机制中的表现进行了评估。

实验结果

研究问题

• RQ1 如何将 softmax 和 sparsemax 等现有稀疏概率映射统一到单一理论框架下？
• RQ2 是否可以在不牺牲可微性或闭式解的前提下，实现对概率映射函数中稀疏性的显式控制？
• RQ3 与现有方法相比，所提出的公式——sparsegen-lin 和 sparsehourglass 在多标签分类中的表现如何？
• RQ4 稀疏性控制对序列到序列模型（如神经机器翻译和抽象摘要）中注意力机制的影响是什么？
• RQ5 能否设计出新型凸损失函数，以有效诱导多标签学习中期望的稀疏性行为？

主要发现

• 所提出的框架将 softmax、sparsemax 和 sum-normalization 等现有映射作为特例统一起来，提供了统一的视角。
• sparsegen-lin 和 sparsehourglass 通过可调参数实现了对稀疏程度的显式控制。
• 这些公式支持闭式解和子梯度，从而支持通过反向传播实现端到端训练。
• 在多标签分类任务中，新型凸损失函数相比标准方法取得了更优的性能。
• 在序列到序列任务中，所提出的稀疏注意力机制在性能上达到或优于标准 softmax。