[论文解读] Subgradient Descent Learns Orthogonal Dictionaries

Yu Bai, Qijia Jiang+1 more|arXiv (Cornell University)|Sep 27, 2018

Sparse and Compressive Sensing Techniques被引用 32

一句话总结

该论文提出了一种带有随机初始化的次梯度下降算法，通过在温和的统计假设下对正交字典进行非光滑、非凸的$$\ell_1$$最小化，可证明地实现字典恢复。该方法在无需昂贵计算或精细初始化的情况下实现收敛，为分析非光滑景观提供了新工具，潜在应用于具有ReLU激活函数的深度网络训练。

ABSTRACT

This paper concerns dictionary learning, i.e., sparse coding, a fundamental representation learning problem. We show that a subgradient descent algorithm, with random initialization, can provably recover orthogonal dictionaries on a natural nonsmooth, nonconvex $\ell_1$ minimization formulation of the problem, under mild statistical assumptions on the data. This is in contrast to previous provable methods that require either expensive computation or delicate initialization schemes. Our analysis develops several tools for characterizing landscapes of nonsmooth functions, which might be of independent interest for provable training of deep networks with nonsmooth activations (e.g., ReLU), among numerous other applications. Preliminary experiments corroborate our analysis and show that our algorithm works well empirically in recovering orthogonal dictionaries.

研究动机与目标

• 开发一种可证明收敛的字典学习方法，避免昂贵计算或对初始化敏感的问题。
• 分析基于$$\ell_1$$最小化的字典学习问题的非光滑、非凸景观。
• 在数据的温和假设下，为该非光滑问题上的次梯度下降建立理论保证。
• 推导可用于刻画非光滑函数景观的一般性工具，其应用范围可超越字典学习。

提出的方法

• 该方法在字典学习的非光滑、非凸$$\ell_1$$最小化公式上应用次梯度下降。
• 使用随机初始化，而非精心调校或结构化的初始化。
• 理论分析利用新颖工具刻画非光滑函数的景观，特别是临界点附近的特性。
• 在数据的温和统计假设下，证明了可收敛至真实的正交字典。
• 该方法避免了迭代硬阈值化或其他在以往方法中常见的计算量大的步骤。
• 该框架设计为可扩展至其他涉及非光滑目标函数的问题，例如具有ReLU激活函数的深度学习。

实验结果

研究问题

• RQ1 带有随机初始化的次梯度下降能否在字典学习中收敛至真实的正交字典？
• RQ2 基于$$\ell_1$$的字典学习中，非光滑、非凸景观的几何与分析特性是什么？
• RQ3 能否在不依赖昂贵计算或精确初始化的情况下建立理论保证？
• RQ4 可开发出哪些通用工具以分析非光滑优化景观？

主要发现

• 在数据的温和统计假设下，带有随机初始化的次梯度下降可证明地恢复正交字典。
• 该方法避免了以往可证明方法中所需的昂贵计算或精细初始化方案。
• 理论分析引入了刻画非光滑函数景观的新工具，可能在训练具有ReLU激活函数的深度网络中具有应用价值。
• 初步实验验证了该算法在恢复正交字典方面的实际有效性。