[论文解读] Relative Loss Bounds for On-line Density Estimation with the Exponential Family of Distributions

Katy S. Azoury, Manfred K. Warmuth|arXiv (Cornell University)|Jan 23, 2013

Machine Learning and Algorithms参考文献 11被引用 29

一句话总结

本文针对使用指数族分布的在线密度估计提出了相对损失界，其中在线算法按顺序更新参数，并以负对数似然作为损失。关键贡献是通过基于指数分布之间相对熵的散度，推导出在线算法与最优离线算法之间累积损失差的理论界，确保了对任意数据序列的性能保证。

ABSTRACT

We consider on-line density estimation with a parameterized density from the exponential family. The on-line algorithm receives one example at a time and maintains a parameter that is essentially an average of the past examples. After receiving an example the algorithm incurs a loss which is the negative log-likelihood of the example w.r.t. the past parameter of the algorithm. An off-line algorithm can choose the best parameter based on all the examples. We prove bounds on the additional total loss of the on-line algorithm over the total loss of the off-line algorithm. These relative loss bounds hold for an arbitrary sequence of examples. The goal is to design algorithms with the best possible relative loss bounds. We use a certain divergence to derive and analyze the algorithms. This divergence is a relative entropy between two exponential distributions.

研究动机与目标

• 建立指数族中在线密度估计算法的理论性能界。
• 量化在线算法相较于最优离线算法所额外承担的损失。
• 推导适用于任意示例序列的界，无需统计假设。
• 使用基于指数分布之间相对熵的散度作为核心分析工具。
• 设计在在线学习中具有最紧相对损失界的算法。

提出的方法

• 在线算法维护一个参数，该参数为过去示例充分统计量的平均值。
• 损失定义为每个新到达示例相对于当前参数估计的负对数似然。
• 使用基于两个指数族分布之间相对熵的散度度量来分析算法性能。
• 利用该散度推导出在线与离线算法之间累积损失差的理论界。
• 该分析适用于任意示例序列，无需分布假设。
• 该方法利用指数族的性质和Bregman散度，建立紧致的遗憾界。

实验结果

研究问题

• RQ1 在密度估计中，在线算法与最优离线算法之间的最坏情况累积损失差是多少？
• RQ2 如何推导出独立于数据分布的在线密度估计性能界？
• RQ3 何种散度度量可在指数族设置中实现紧致的相对损失界？
• RQ4 我们能否设计一种在线算法，使其在任意数据序列上均实现近似最优性能？
• RQ5 指数分布之间的相对熵与在线学习遗憾之间有何关系？

主要发现

• 本文建立了适用于任意示例序列的相对损失界，确保在线算法的累积损失最多超出离线最优值一个对数因子。
• 该界通过基于两个指数分布之间相对熵的散度推导得出，该散度作为遗憾的代理量。
• 分析表明，在线算法的性能与最佳可能的离线参数选择仅相差一个常数因子。
• 相对损失界是紧致的，且不需对数据分布或i.i.d.抽样做假设。
• 该方法普遍适用于所有指数族分布，包括正态分布、伯努利分布和泊松分布。
• 结果表明，使用指数族模型的在线密度估计可实现强大的理论性能保证。