[论文解读] Yet another zeta function and learning

Igor Rivin|ArXiv.org|Jul 25, 2001

Machine Learning and Algorithms参考文献 5被引用 3

一句话总结

本文在概念获取的概率模型中分析了批量学习算法的收敛速度，引入了一种新颖的矩zeta函数以表征学习动态。结果表明，批量学习在渐近意义上优于无记忆学习，并且其性能取决于重叠分布尾部行为，可能匹配或超越全记忆学习，在重叠密度在1附近呈现幂律衰减且指数为正时，可实现次线性收敛。

ABSTRACT

We study the convergence speed of the batch learning algorithm, and compare its speed to that of the memoryless learning algorithm and of learning with memory (as analyzed in joint work with N. Komarova). We obtain precise results and show in particular that the batch learning algorithm is never worse than the memoryless learning algorithm (at least asymptotically). Its performance vis-a-vis learning with full memory is less clearcut, and depends on certainprobabilistic assumptions. These results necessitate theintroduction of the moment zeta function of a probability distribution and the study of some of its properties.

研究动机与目标

• 在关于概念-词重叠的概率假设下，分析批量学习算法的收敛速度。
• 在收敛速率方面，比较批量学习与无记忆学习和全记忆学习算法的性能。
• 引入并研究概率分布的矩zeta函数，作为分析学习动态的工具。
• 确定批量学习相对于概念数n实现次线性收敛的条件。
• 阐明在重叠分布尾部行为不同时，学习时间的渐近行为。

提出的方法

• 将概念学习建模为随机过程，其中词以独立同分布的概率指向概念，概率分布为F。
• 将批量学习算法定义为：通过连续词的候选概念列表进行交集操作，直至仅剩R₀个概念为止。
• 引入矩zeta函数 ζ_F(n) = E[∑_{j=1}^n (1 - p_j)^{-1} - 1] 以分析收敛速率。
• 在f(1−x)于x=0附近的尾部分布具有不同行为时，对zeta函数进行渐近分析。
• 使用积分近似和Laplace方法估计期望学习时间N_Δ。
• 通过分析生存概率1−Δ关于n和β的衰减速率，推导收敛速率。

实验结果

研究问题

• RQ1 在相同的概率假设下，批量学习算法的收敛速度与无记忆学习和全记忆学习相比如何？
• RQ2 重叠分布f(1−x)在x=0附近的局部解析行为在决定学习时间中起什么作用？
• RQ3 在何种条件下，批量学习在n上实现次线性收敛？
• RQ4 矩zeta函数与批量模型中期望学习时间有何关系？
• RQ5 当重叠密度表现出指数β的幂律衰减时，学习时间的渐近行为是什么？

主要发现

• 当重叠密度f(1−x)在x=0附近满足c + O(x^δ)形式（δ,c>0）时，批量学习实现N_Δ = |log Δ| Θ(n)，性能与线性相当。
• 当f(1−x) ∼ x^β + O(x^{β−δ})且β>0时，N_Δ = |log Δ| Θ(n^{1/(1+β)})，表明实现次线性收敛。
• 当f(1−x) ∼ x^β且−1/2 < β < 0时，N_Δ = |log Δ| Θ(n^{1/(1+β)})，表明收敛速度慢于线性。
• 当β ≥ 0时，批量学习在整体上优于无记忆学习，并且在分布假设下可能优于全记忆学习。
• 当β < 0时，批量学习与无记忆学习性能相当，但劣于全记忆学习。
• 矩zeta函数为在不同尾部分布行为下表征学习时间渐近性提供了关键分析工具。