[论文解读] Reducing the Computational Complexity of Pseudoinverse for the Incremental Broad Learning System on Added Inputs

Hufei Zhu, Liu, Zhulin+2 more|arXiv (Cornell University)|Oct 17, 2019

Machine Learning and ELM参考文献 7被引用 4

一句话总结

该论文提出了一种高效实现方法，以降低在增量广义学习系统（BLS）中添加新输入时伪逆计算的计算复杂度。通过利用矩阵求逆恒等式，当 $ q > k $ 时，用 $ k \times k $ 的矩阵求逆替代原本昂贵的 $ q \times q $ 矩阵求逆，从而在 MNIST 上实现 1.35–1.57 倍的加速，在 NORB 上实现 1.10–1.35 倍的加速，且测试精度保持不变。

ABSTRACT

In this brief, we improve the Broad Learning System (BLS) [7] by reducing the computational complexity of the incremental learning for added inputs. We utilize the inverse of a sum of matrices in [8] to improve a step in the pseudoinverse of a row-partitioned matrix. Accordingly we propose two fast algorithms for the cases of q > k and q < k, respectively, where q and k denote the number of additional training samples and the total number of nodes, respectively. Specifically, when q > k, the proposed algorithm computes only a k * k matrix inverse, instead of a q * q matrix inverse in the existing algorithm. Accordingly it can reduce the complexity dramatically. Our simulations, which follow those for Table V in [7], show that the proposed algorithm and the existing algorithm achieve the same testing accuracy, while the speedups in BLS training time of the proposed algorithm over the existing algorithm are 1.24 - 1.30.

研究动机与目标

• 解决在添加新输入样本时，增量 BLS 中伪逆计算的高计算成本问题。
• 降低 BLS 更新过程中矩阵求逆及相关矩阵乘法的时间复杂度。
• 在显著加速大规模和实时应用训练的同时，保持相同的测试精度。
• 为增量学习中的 $ q > k $ 和 $ q \times k $ 两种情形，开发一种统一且高效的实现方法。
• 通过提升训练效率，使 BLS 在边缘计算等资源受限环境中具备实际部署可行性。

提出的方法

• 基于分块矩阵的结构，提出两种不同的高效伪逆计算形式：一种适用于 $ q > k $，另一种适用于 $ q \times k $。
• 利用矩阵求逆引理（Woodbury 恒等式），当 $ q > k $ 时，将原始的 $ q \times q $ 矩阵求逆转换为 $ k \times k $ 求逆，从而大幅降低计算成本。
• 推导出新的表达式 (24b) 和 (24c)，替代原始的伪逆计算步骤 (15b)，实现更快的矩阵乘法。
• 对于 $ q > k $ 的情形，该方法使矩阵求逆的浮点运算次数减少为原来的 $ \frac{1}{2}(q/k)^3 $，并分别使两次矩阵乘法的运算速度提升 $ ql/(2k^2) $ 和 $ q/k $ 倍。
• 对于 $ q \times k $ 的情形，该方法使一次矩阵乘法的运算速度提升 $ l/k $ 倍，从而减轻了该计算区间的计算负载。
• 将新公式集成到增量 BLS 框架中，同时保持输出权重计算中岭回归近似的有效性。

实验结果

研究问题

• RQ1 在添加新输入样本时，能否降低增量 BLS 中伪逆计算的计算复杂度？
• RQ2 通过利用矩阵恒等式，用 $ k \times k $ 求逆替代 $ q \times q $ 求逆，理论上可实现多大的加速增益？
• RQ3 与原始 BLS 相比，所提出方法对泛化性能和测试精度有何影响？
• RQ4 在不同数据集和输入缩放模式（$ q > k $ 与 $ q \times k $）下，总训练时间的实际加速比是多少？
• RQ5 所提出方法是否具备可扩展性，适用于对低延迟要求较高的实时或边缘计算应用场景？

主要发现

• 所提方法在所有实验中均实现了与原始 BLS 相同的测试精度，证实效率提升并未损害模型性能。
• 在 MNIST 数据集上，当 $ q > k $ 时，所提实现使总训练时间加速 1.35–1.57 倍；当 $ q \times k $ 时，加速 1.09–1.13 倍。
• 在 NORB 数据集上，当 $ q > k $ 时，加速比为 1.10–1.35 倍；当 $ q \times k $ 时，加速比为 1.07–1.09 倍，表明性能提升稳定可靠。
• 矩阵求逆的理论加速比为 $ \frac{1}{2}(q/k)^3 $，该理论结果在数值模拟中得到验证。
• 该方法在 $ q > k $ 情况下，显著减少了矩阵求逆及两次矩阵乘法的浮点运算次数，大幅提升了计算效率。
• 该方法在 $ q $ 较大时尤为有效，此时计算节省最为显著，因此特别适用于大数据和实时应用场景。