[论文解读] The continuous categorical: a novel simplex-valued exponential family

Elliott Gordon-Rodríguez, Gabriel Loaiza-Ganem+1 more|arXiv (Cornell University)|Feb 20, 2020

Bayesian Methods and Mixture Models参考文献 9被引用 6

一句话总结

本文提出了连续类别（CC）分布，这是一种定义在单纯形上的新型指数族分布，克服了狄利克雷分布建模组成数据时的关键局限性。通过将连续伯努利分布推广至多变量情形，CC 分布实现了具有良好行为的无偏估计，具有可处理的对数似然函数，并支持高效的重参数化采样，从而在神经网络蒸馏及其他概率建模任务中，相较于狄利克雷分布和交叉熵基线，性能得到提升。

ABSTRACT

Simplex-valued data appear throughout statistics and machine learning, for example in the context of transfer learning and compression of deep networks. Existing models for this class of data rely on the Dirichlet distribution or other related loss functions; here we show these standard choices suffer systematically from a number of limitations, including bias and numerical issues that frustrate the use of flexible network models upstream of these distributions. We resolve these limitations by introducing a novel exponential family of distributions for modeling simplex-valued data - the continuous categorical, which arises as a nontrivial multivariate generalization of the recently discovered continuous Bernoulli. Unlike the Dirichlet and other typical choices, the continuous categorical results in a well-behaved probabilistic loss function that produces unbiased estimators, while preserving the mathematical simplicity of the Dirichlet. As well as exploring its theoretical properties, we introduce sampling methods for this distribution that are amenable to the reparameterization trick, and evaluate their performance. Lastly, we demonstrate that the continuous categorical outperforms standard choices empirically, across a simulation study, an applied example on multi-party elections, and a neural network compression task.

研究动机与目标

• 为解决现有单纯形值数据模型（尤其是狄利克雷分布和交叉熵优化）中存在的系统性偏差和数值不稳定性问题。
• 开发一种具有良好行为的概率模型，支持灵活的非线性回归函数（如深度神经网络）。
• 确保模型产生无偏估计量，并在观测值为零时避免似然函数爆炸。
• 提供闭式归一化常数，并通过重参数化技巧实现高效采样，以支持变分推断。
• 通过模拟研究、选举建模和神经网络蒸馏任务，对 CC 模型进行实证验证。

提出的方法

• 提出连续类别（CC）分布作为连续伯努利的多变量推广，定义在单纯形上，仅含一个聚集参数。
• 利用充分统计量推导 CC 的对数似然函数，以确保无偏的最大似然估计。
• 通过初等函数形式表达闭式归一化常数，避免狄利克雷模型中常见的数值问题。
• 开发与重参数化技巧兼容的拒绝采样算法，适用于可微概率模型。
• 在神经网络蒸馏中将 CC 作为似然函数使用，以替代交叉熵的非概率目标。
• 在多个设置下，比较 CC 与狄利克雷分布和交叉熵目标在测试准确率、均方根误差（RMSE）和优化稳定性方面的表现。

实验结果

研究问题

• RQ1 能否构建一个定义在单纯形上的新型指数族分布，以避免狄利克雷分布的数值与统计缺陷？
• RQ2 连续类别分布是否能在极端观测下保持无偏估计量和数值稳定性？
• RQ3 CC 能否在保持计算可处理性的前提下，支持灵活的非线性模型（如深度神经网络）？
• RQ4 在模型蒸馏和组成数据建模中，CC 与交叉熵和狄利克雷似然相比，实证表现如何？
• RQ5 CC 是否能在下游任务（如多党派选举预测和神经网络压缩）中提供更优的优化景观和泛化能力？

主要发现

• 在神经网络蒸馏任务中，连续类别模型实现了 95.6% 的测试准确率，优于交叉熵基线（94.9%）和狄利克雷似然（90.6%）。
• 在回归软目标时，CC 目标将 RMSE 降低至 0.024，而交叉熵为 0.029，狄利克雷似然为 0.041。
• CC 模型表现出更优的优化稳定性，尤其在低温设置下，此时狄利克雷似然因极端软目标而出现数值溢出。
• 与狄利克雷分布不同，CC 模型在观测值为零时不会导致对数似然爆炸，表现出更强的稳定性。
• 由于其充分统计量，CC 模型可提供无偏估计量，与最大似然原理保持一致。
• 尽管在潜在变量建模（如主题建模）中性能相近，但 CC 与多项式似然组合时后验不可计算，限制了其在此类场景的应用，凸显其关键局限性。