[论文解读] Online Multiview Representation Learning: Dropping Convexity for Better Efficiency.

Zhehui Chen, Forest Yang+2 more|arXiv (Cornell University)|Feb 27, 2017

Stochastic Gradient Optimization Techniques参考文献 25被引用 3

一句话总结

本文提出了一种用于在线多视图表示学习的非凸公式化方法，通过两种随机梯度下降（SGD）方法实现高效优化。通过使用扩散过程分析算法动态，证明了该方法以高概率实现全局收敛至全局最优解，弥合了非凸方法在理论与强大经验性能之间的差距。

ABSTRACT

Multiview representation learning is very popular for latent factor analysis. It naturally arises in many data analysis, machine learning, and information retrieval applications to model dependent structures between a pair of data matrices. For computational convenience, existing approaches usually formulate the multiview representation learning as convex optimization problems, where global optima can be obtained by certain algorithms in polynomial time. However, many evidences have corroborated that heuristic nonconvex approaches also have good empirical computational performance and convergence to the global optima, although there is a lack of theoretical justification. Such a gap between theory and practice motivates us to study a nonconvex formulation for multiview representation learning, which can be efficiently solved by two stochastic gradient descent (SGD) methods. Theoretically, by analyzing the dynamics of the algorithms based on diffusion processes, we establish global rates of convergence to the global optima with high probability. Numerical experiments are provided to support our theory.

研究动机与目标

• 解决非凸方法在多视图表示学习中经验成功与理论偏好凸公式化之间的理论差距。
• 开发一种高效且可扩展的在线学习框架，避免凸优化带来的计算负担。
• 在高概率保证下，为非凸多视图学习建立严格的全局收敛速率。
• 利用随机微分方程和扩散过程分析基于SGD的优化动态。
• 通过数值实验验证理论发现，展示出强大的经验性能。

提出的方法

• 将在线多视图表示学习公式化为非凸优化问题，相较于传统凸松弛方法，显著提升了计算效率。
• 采用两种随机梯度下降（SGD）算法求解非凸问题，支持在线和增量学习。
• 利用扩散过程建模迭代点的随机行为，分析SGD方法的收敛动态。
• 通过离散SGD过程的连续时间近似，推导出在高概率边界下收敛至全局最优解的全局收敛速率。
• 提出一个理论框架，将非凸优化动态与扩散过程相联系，实现严谨的收敛性分析。
• 使用福克-普朗克方程刻画迭代点概率密度的时间演化，促进收敛速率的估计。

实验结果

研究问题

• RQ1 尽管先前工作缺乏理论依据，该非凸公式化方法是否能在高概率下实现全局收敛？
• RQ2 在应用于非凸多视图学习问题时，SGD方法在收敛速度和最优性方面表现如何？
• RQ3 在非凸多视图学习背景下，SGD动态与扩散过程之间存在何种理论联系？
• RQ4 所提出的非凸方法是否能在保持全局收敛的同时，相较于凸公式化在计算效率上更具优势？
• RQ5 在高概率边界下，所提出的SGD方法的全局收敛速率是多少？

主要发现

• 所提出的非凸公式化方法实现了显著降低计算成本的高效在线学习，相较于凸方法优势明显。
• 两种SGD方法以高概率实现对全局最优解的全局收敛，其严谨性通过扩散过程分析得以确立。
• 推导出全局收敛速率，并在高概率边界下成立，为非凸方法的经验成功提供了理论依据。
• 数值实验验证了理论预测，展示了实际中强大的经验性能和快速收敛。
• 通过扩散过程分析发现，SGD迭代点的随机动态以可量化的速率收敛至全局解。
• 该框架通过证明非凸方法在多视图表示学习中的有效性，成功弥合了理论与实践之间的差距。