[论文解读] Renewal theory in analysis of tries and strings

Svante Janson|ArXiv.org|Dec 11, 2009

Algorithms and Data Compression参考文献 41被引用 3

一句话总结

本文将更新理论应用于分析字典树和字符串的概率性质，为插入深度、大小、不平衡性以及Khodak和Tunstall编码等编码方案提供了一个统一且直观的框架。结果表明，更新理论能得出具有清晰概率解释的主导阶渐近结果，尤其突出了算术分布与非算术分布对极限分布中振荡行为的生成作用。

ABSTRACT

We give a survey of a number of simple applications of renewal theory to problems on random strings and tries: insertion depth, size, insertion mode and imbalance of tries; variations for b-tries and Patricia tries; Khodak and Tunstall codes.

研究动机与目标

• 展示更新理论在分析随机字典树和字符串中的实用性，特别是针对插入深度、大小和不平衡性等问题。
• 提供一种简单直观的框架，用于推导概率字符串结构中的主导阶渐近结果。
• 通过将极限分布中的振荡项与更新理论中的算术情形联系起来，阐明其来源。
• 倡导在分析字符串的马尔可夫模型及其他随机模型时更广泛地应用更新理论。
• 通过统一的概率视角，整合并简化现有关于字典树及相关结构的结果。

提出的方法

• 通过字母概率的对数变换，将字符串概率转化为独立同分布的随机变量。
• 定义一个更新过程，其中到达间隔时间对应于字符串前缀的负对数概率。
• 对非算术分布和算术分布，分别应用标准的更新理论结果，特别是Blackwell定理和关键更新定理。
• 使用直接Riemann可积性条件，确保更新积分的收敛性。
• 将多变量更新理论应用于涉及字典树中深度及其他统计量的联合过程。
• 通过分析更新测度的渐近行为，推导出插入深度和大小等功能的极限分布。

实验结果

研究问题

• RQ1 如何利用更新理论推导随机字典树中插入深度的渐近分布？
• RQ2 极限分布中振荡项的有无由什么决定？
• RQ3 底层字母表分布的性质（例如，对数比值为有理数或无理数）如何影响字典树统计量的渐近行为？
• RQ4 更新理论能否为分析字典树参数提供比Mellin变换方法更简单、更直观的替代方案？
• RQ5 该理论如何推广到b-tries和Patricia tries等广义结构？

主要发现

• 随机字典树中的插入深度在分布上收敛于正态分布，其均值和方差与字符串数量的对数成正比，收敛速率由信源的熵决定。
• 对于非算术分布（例如，p ≠ 1/2），更新测度收敛于均匀极限，从而产生平滑的渐近分布。
• 在算术情形下（例如，当ln p / ln q为有理数时），由于到达间隔时间的格点结构，极限分布表现出周期性振荡。
• 振荡的振幅由底层密度函数的傅里叶系数决定，周期与对数概率的gcd相关。
• 字典树的大小渐近地增长为n log n，常数因子取决于信源分布的熵。
• 对于b-tries和Patricia tries，采用类似的更新理论方法可得到相应的渐近结果，仅需对到达间隔时间分布进行相应调整。