[论文解读] Sparse Adaptive Dirichlet-Multinomial-like Processes

Marcus Hütter|arXiv (Cornell University)|May 16, 2013

Algorithms and Data Compression参考文献 19被引用 8

一句话总结

本文提出了一种稀疏自适应狄利克雷-多项式类似过程，用于在大型或复杂字母表上对独立同分布数据进行在线估计，采用基于数据的自适应参数 $β^*$ 以最小化冗余。主要贡献是一种简单、快速、在线的估计器，其浓度参数设定为 $m/[2\ln(n+1/m)]$，在无需事先知晓字母表大小的情况下，可在小、中、大符号数量下实现最优性能。

ABSTRACT

Online estimation and modelling of i.i.d. data for short sequences over large or complex "alphabets" is a ubiquitous (sub)problem in machine learning, information theory, data compression, statistical language processing, and document analysis. The Dirichlet-Multinomial distribution (also called Polya urn scheme) and extensions thereof are widely applied for online i.i.d. estimation. Good a-priori choices for the parameters in this regime are difficult to obtain though. I derive an optimal adaptive choice for the main parameter via tight, data-dependent redundancy bounds for a related model. The 1-line recommendation is to set the 'total mass' = 'precision' = 'concentration' parameter to m/2ln[(n+1)/m], where n is the (past) sample size and m the number of different symbols observed (so far). The resulting estimator (i) is simple, (ii) online, (iii) fast, (iv) performs well for all m, small, middle and large, (v) is independent of the base alphabet size, (vi) non-occurring symbols induce no redundancy, (vii) the constant sequence has constant redundancy, (viii) symbols that appear only finitely often have bounded/constant contribution to the redundancy, (ix) is competitive with (slow) Bayesian mixing over all sub-alphabets.

研究动机与目标

• 为解决在短序列和大型或复杂字母表下，语言建模与数据压缩等场景中，对独立同分布数据进行在线自适应概率估计的挑战。
• 推导出浓度参数 ($\beta^*$) 的最优、基于数据的选择，以最小化估计过程中的冗余。
• 开发一种在所有符号数量范围（小、中、大）下均表现良好的方法，且不依赖于字母表大小或符号频率的先验知识。
• 确保估计器保持高效且可在线处理，避免贝叶斯平均或离线优化带来的计算负担。
• 提供一种理论基础坚实、简单且快速的替代方案，优于现有如KT、Perks或固定先验的狄利克雷-多项式估计器。

提出的方法

• 提出一种稀疏自适应模型 $S^{\beta}$，基于过去相对频率估计下一个符号的概率，并引入针对未见符号的自适应“逃逸”概率。
• 通过紧致的、基于数据的冗余界推导出最优参数 $\beta^*$，得出在线自适应的公式 $\beta^* = m/[2\ln(n+1/m)]$。
• 引入变参数版本 $\vec{\beta}^*$，在每个时间步根据当前 $m_t$ 和 $n_t$ 动态更新 $\beta$，以确保冗余最小化。
• 利用对ψ函数（digamma函数）的近似和冗余分析，推导理论界并证明所提 $\beta^*$ 的最优性。
• 采用非信息先验结构，避免对未出现符号施加惩罚，并确保有限次出现符号的冗余有界。
• 通过与已知估计器（如KT、Perks、DirM*、SAW-Bayes）在合成数据和真实数据（包括Zipf分布和传真图像序列）上的比较，验证该方法的有效性。

实验结果

研究问题

• RQ1 在大型字母表上对独立同分布数据进行在线估计时，狄利克雷-多项式类似模型中浓度参数 $\beta$ 的最优自适应选择是什么？
• RQ2 如何在不事先知晓字母表大小或符号频率的情况下，以基于数据的方式在线最小化冗余？
• RQ3 能否设计一种简单、快速且理论基础坚实的估计器，在所有符号数量范围内均优于现有的贝叶斯和极小化最大风险估计器？
• RQ4 所提估计器与已知字母表和符号数量的最优估计器相比表现如何？
• RQ5 未出现符号和有限频率符号对估计器冗余的影响是什么？

主要发现

• 所提估计器 $S^{\vec{\beta}^*/2}$ 的冗余几乎与离线最优估计器 $S^{\beta^*/2}$ 无法区分，表明在线自适应带来的性能损失可忽略不计。
• 该估计器优于KT、Perks和哈代-温德斯利先验等标准方法，尤其在 $m \ll D$ 时表现更优，其中 $D$ 为基字母表大小。
• 对于小 $m$，$\text{KT}_{\cal A} + \ln{D \choose m}$ 表现优于 $S^{\vec{\beta}^*/2}$，但仅因其使用了实际字母表 ${\cal A}$ 的最优知识，而此信息在实际中不可用。
• 该估计器对常数序列保持恒定冗余，对有限次出现的符号贡献有界，满足关键理论期望。
• 该方法在子字母表上的贝叶斯混合方法表现具有竞争力，且在均匀分布、Zipf分布和真实世界数据上均表现稳健，跨数据集性能反转极小。
• 最终建议将 $\beta = m/[2\ln(n+1/m)]$ 作为最优且普适适用的参数设置，无论 $m$ 为小、中或大均成立。