[论文解读] Partition-wise Linear Models

Hidekazu Oiwa, Ryohei Fujimaki|arXiv (Cornell University)|Oct 31, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用 14

一句话总结

本文提出了一种分块线性模型，这是一种区域特定线性模型的凸优化形式，通过将局部预测器表示为分块特定权重向量的线性组合来实现。通过在离散候选集合上使用稀疏、结构化的正则化来优化区域划分，该方法实现了无需初始化的全局最优解，并具备泛化误差界，在经验评估中优于当前最先进的局部线性与区域特定模型。

ABSTRACT

Region-specific linear models are widely used in practical applications because of their non-linear but highly interpretable model representations. One of the key challenges in their use is non-convexity in simultaneous optimization of regions and region-specific models. This paper proposes novel convex region-specific linear models, which we refer to as partition-wise linear models. Our key ideas are 1) assigning linear models not to regions but to partitions (region-specifiers) and representing region-specific linear models by linear combinations of partition-specific models, and 2) optimizing regions via partition selection from a large number of given partition candidates by means of convex structured regularizations. In addition to providing initialization-free globally-optimal solutions, our convex formulation makes it possible to derive a generalization bound and to use such advanced optimization techniques as proximal methods and decomposition of the proximal maps for sparsity-inducing regularizations. Experimental results demonstrate that our partition-wise linear models perform better than or are at least competitive with state-of-the-art region-specific or locally linear models.

研究动机与目标

• 为解决区域特定线性模型中的非凸性与初始化依赖问题，这些问题会阻碍全局优化与泛化分析。
• 构建一个联合学习区域划分与局部线性预测器的凸优化框架。
• 通过推导所提模型的泛化误差界，实现泛化误差的分析。
• 通过在分块选择中引入结构化稀疏性，提升预测性能与可解释性。
• 为现有局部线性与区域特定模型提供一种可扩展、无需初始化的替代方案。

提出的方法

• 将局部预测器参数化为分配给各个分块的权重向量的线性组合，其中每个分块将输入空间划分为两个区域。
• 通过分块特定模型的凸组合表示区域特定模型，从而在模型参数上实现凸优化。
• 通过在大型候选池中使用结构化稀疏性诱导正则化，选择稀疏的候选分块子集来优化区域结构。
• 采用邻近算法与邻近映射的分解方法，高效求解结构化稀疏优化问题。
• 采用热启动策略与增量优化技术，使方法可扩展至大规模数据集。
• 将全局模型与局部分块模型结合，构建全局/局部残差模型，以提升预测精度。

实验结果

研究问题

• RQ1 区域特定线性模型的凸优化形式能否消除初始化依赖并实现全局优化？
• RQ2 在离散分块候选集合上使用结构化稀疏性正则化，能否带来更好的泛化性能与分块选择的稀疏性？
• RQ3 分块线性模型相较于当前最先进的局部线性与区域特定模型，是否能实现更优或具有竞争力的性能？
• RQ4 能否为具有大量候选分块的分块线性模型推导出泛化误差界？
• RQ5 在不同数据规模与分块生成策略下，模型的性能表现如何？

主要发现

• 所提出的分块线性模型在8个回归数据集中的7个中取得了最佳或第二好的性能，显著优于Linear、RegTree与RBF-SVR。
• 在energy_heat数据集上，该模型的均方根损失为0.101（0.014），而Linear为0.480，RegTree为0.050。
• 采用热启动的模型训练误差下降速度明显快于未使用热启动的情况，表明收敛效率得到提升。
• 泛化误差界分析表明，分块候选数量可随样本量增长而增加，且增长阶数低于指数级，支持其优异的实证性能。
• 由于凸性，该方法无需初始化且为全局最优，避免了非凸形式中常见的局部极小值问题。
• 邻近映射的分解实现了高效的优化，且通过随机与并行技术，该方法在大规模数据集上表现出良好的可扩展性。