[论文解读] The entropic barrier: a simple and optimal universal self-concordant barrier

Sébastien Bubeck, Ronen Eldan|arXiv (Cornell University)|Dec 4, 2014

Advanced Bandit Algorithms Research参考文献 13被引用 21

一句话总结

本文引入了熵屏障——一种新颖的、显式的自洽障碍函数，用于凸体，其来源于凸体上均匀测度的对数拉普拉斯变换的Fenchel对偶。证明了该熵屏障为(1+o(1))n-自洽，其自洽参数在低阶项范围内达到最优，显著优于Nesterov和Nemirovski的经典通用障碍函数。

ABSTRACT

We prove that the Cramér transform of the uniform measure on a convex body in $\mathbb{R}^n$ is a $(1+o(1)) n$-self-concordant barrier, improving a seminal result of Nesterov and Nemirovski. This gives the first explicit construction of a universal barrier for convex bodies with optimal self-concordance parameter. The proof is based on basic geometry of log-concave distributions, and elementary duality in exponential families.

研究动机与目标

• 为R^n中的任意凸体构造一个显式、通用的自洽障碍函数，其自洽参数达到最优。
• 改进Nesterov和Nemirovski于1994年提出的开创性通用障碍函数结果，后者仅保证ν ≤ Cn（C为某通用常数）。
• 证明自洽参数可渐近达到最优，即(1+o(1))n，与某些凸集的理论下界n一致。
• 提供一种具有概率可解释性的障碍函数（即熵屏障），其比以往构造（如典范障碍函数）更易于分析。

提出的方法

• 定义凸体K ⊂ R^n的对数拉普拉斯变换f(θ) = log∫_K exp(⟨θ,x⟩)dx。
• 构造Fenchel对偶f*(x) = sup_θ ⟨θ,x⟩ − f(θ)，并证明其在int(K)上为自洽障碍函数。
• 利用对数凹分布的几何与对偶性质，证明f*为(1+ε_n)n-自洽，其中ε_n ≤ 100√(log n / n)（当n ≥ 80时），
• 利用指数族中的基本对偶性，将f*解释为K上自然分布的负熵。
• 利用凸几何与集中不等式技术，建立各向同性对数凹随机变量的精确矩界，包括E[X^3] ≤ 2。
• 通过新颖分析对数凹密度的尾部衰减行为，界定密度下降因子为ε的区间外的方差。

实验结果

研究问题

• RQ1 能否构造出一个凸体的通用自洽障碍函数，使其自洽参数任意接近理论最小值n？
• RQ2 是否存在一种自然的、具有概率可解释性的障碍函数，能实现最优自洽性且比现有构造更易分析？
• RQ3 对凸体上对数拉普拉斯变换的Fenchel对偶的自洽参数的精确渐近行为是什么？
• RQ4 在高维空间中，对数拉普拉斯变换的三阶导数如何与自洽条件相关联？

主要发现

• 对于R^n中的凸体K，其均匀测度的对数拉普拉斯变换的Fenchel对偶f*，是int(K)上的(1+o(1))n-自洽障碍函数。
• 当n ≥ 80时，自洽参数满足ε_n ≤ 100√(log n / n)，表明该障碍函数渐近最优。
• 熵屏障在低阶项范围内实现了最优自洽参数，与某些集合（如单纯形和超立方体）的理论下界ν ≥ n一致。
• 该构造是通用且显式的，首次提供了具有最优自洽参数的此类障碍函数，显著优于Nesterov和Nemirovski的通用障碍函数。
• 该方法依赖于各向同性对数凹随机变量的精确矩界，包括实值各向同性对数凹随机变量X满足E[X^3] ≤ 2。
• 熵屏障自然地可解释为K上自然指数族分布的负熵，从而使其分析比典范障碍函数更简便。