[论文解读] Sigsoftmax: Reanalysis of the Softmax Bottleneck

Sekitoshi Kanai, Yasuhiro Fujiwara+2 more|arXiv (Cornell University)|May 28, 2018

Topic Modeling参考文献 28被引用 22

一句话总结

该论文提出了一种名为 sigsoftmax 的新型输出激活函数，通过结合指数函数与 Sigmoid 函数，打破了 Softmax 的瓶颈，从而在不增加参数数量的前提下提升了模型的表征能力。实验结果表明，sigsoftmax 在语言建模任务中优于 Softmax 和 Softmax 混合模型，实现了更低的困惑度，并提升了输出向量之间的线性独立性。

ABSTRACT

Softmax is an output activation function for modeling categorical probability distributions in many applications of deep learning. However, a recent study revealed that softmax can be a bottleneck of representational capacity of neural networks in language modeling (the softmax bottleneck). In this paper, we propose an output activation function for breaking the softmax bottleneck without additional parameters. We re-analyze the softmax bottleneck from the perspective of the output set of log-softmax and identify the cause of the softmax bottleneck. On the basis of this analysis, we propose sigsoftmax, which is composed of a multiplication of an exponential function and sigmoid function. Sigsoftmax can break the softmax bottleneck. The experiments on language modeling demonstrate that sigsoftmax and mixture of sigsoftmax outperform softmax and mixture of softmax, respectively.

研究动机与目标

• 识别神经网络表征能力受限于 Softmax 的根本原因。
• 设计一种不增加参数数量的输出激活函数，以突破 Softmax 的瓶颈。
• 通过增强输出层的表征能力，提升语言建模性能。
• 提供一种数值稳定的 Softmax 替代方案，在低维隐藏空间中具有更好的泛化能力。

提出的方法

• 从 log-Softmax 输出集合（取值范围）的角度重新分析 Softmax 瓶颈，发现瓶颈源于非线性受限与维度约束。
• 提出 sigsoftmax 作为指数函数与 Sigmoid 函数的复合形式：$ f_{\text{sig}}(z) = \exp(z) \cdot \sigma(z) $，其输出范围超越了 Softmax。
• 证明 sigsoftmax 的输出范围不受隐藏层维度限制，从而实现输出向量更高的线性独立性。
• 引入混合 sigsoftmax（MoSS）作为增强变体，通过组合多个 sigsoftmax 输出进一步提升性能。
• 采用负对数似然与随机梯度下降进行训练，确保数值稳定性与 Softmax 相当。
• 通过测试序列中 log-输出向量构成的矩阵的秩来评估表征能力。

实验结果

研究问题

• RQ1 为何 Softmax 在表征能力上成为瓶颈，尤其是在语言建模中？
• RQ2 Softmax 的哪些结构或功能特性限制了其对复杂概率分布的建模能力？
• RQ3 能否设计一种新型输出激活函数，在不引入额外参数的前提下突破 Softmax 的瓶颈？
• RQ4 与 Softmax 相比，sigsoftmax 是否能提供更高的输出向量线性独立性？
• RQ5 sigsoftmax 及其混合变体 MoSS 是否能在语言建模任务中超越标准 Softmax 和 Softmax 混合模型？

主要发现

• 在 PTB 数据集上，sigsoftmax 的验证困惑度为 48.3，优于 Softmax（51.2）和 MoS（48.6）。
• 在 WT2 数据集上，sigsoftmax 的测试困惑度为 42.9，低于 Softmax（43.3）和 MoS（40.8）。
• 在 WT2 上，sigsoftmax 的线性无关输出向量数量达到 5,465，显著超过 Softmax 的 402，证实其具备突破瓶颈的能力。
• 混合 sigsoftmax（MoSS）在 WT2 上的测试困惑度为 40.3，优于 MoS（40.8），表明其具有更强的表征能力。
• 在 WT2 上，sigsoftmax 的 log-输出矩阵的秩为 5,465，表明其输出空间不受隐藏层维度限制，而 Softmax 则受此限制。
• ReLU 基与 Sigmoid 基函数的秩高于 Softmax，但存在数值不稳定性，导致无法有效训练，而 sigsoftmax 则无此问题。