[论文解读] The Need for Speed of AI Applications: Performance Comparison of Native vs. Browser-based Algorithm Implementations

Bernd Malle, Nicola Giuliani+2 more|arXiv (Cornell University)|Feb 11, 2018

Parallel Computing and Optimization Techniques参考文献 13被引用 4

一句话总结

本文评估了AI算法实现代码在原生代码、JavaScript、ASM.js和WebAssembly（WASM）等浏览器环境下的性能表现。研究发现，由于高级虚拟机优化，WebAssembly通常优于原生二进制代码，挑战了客户端计算中原生执行优越性的既定假设。

ABSTRACT

AI applications pose increasing demands on performance, so it is not surprising that the era of client-side distributed software is becoming important. On top of many AI applications already using mobile hardware, and even browsers for computationally demanding AI applications, we are already witnessing the emergence of client-side (federated) machine learning algorithms, driven by the interests of large corporations and startups alike. Apart from mathematical and algorithmic concerns, this trend especially demands new levels of computational efficiency from client environments. Consequently, this paper deals with the question of state-of-the-art performance by presenting a comparison study between native code and different browser-based implementations: JavaScript, ASM.js as well as WebAssembly on a representative mix of algorithms. Our results show that current efforts in runtime optimization push the boundaries well towards (and even beyond) native binary performance. We analyze the results obtained and speculate on the reasons behind some surprises, rounding the paper off by outlining future possibilities as well as some of our own research efforts.

研究动机与目标

• 评估浏览器执行环境中的AI工作负载性能与原生编译代码的对比。
• 评估现代浏览器运行时技术（JavaScript、ASM.js和WebAssembly）对算法性能的影响。
• 识别客户端AI计算中的性能瓶颈与优化机会。
• 探索在Web浏览器中直接部署联邦学习与分布式机器学习的可行性。

提出的方法

• 在四种执行环境中（原生C/C++、JavaScript、ASM.js和WebAssembly）对一组具有代表性的10个算法（涵盖排序、图遍历、信号处理和机器学习等）进行了基准测试。
• 使用Emscripten将C/C++代码编译为ASM.js和WebAssembly，确保目标之间的功能一致性。
• 在受控环境中执行所有基准测试，使用一致的输入数据和硬件，以隔离性能差异。
• 通过多次运行测量执行时间，并报告中位数值及标准差，以评估性能的一致性。
• 按算法对结果进行分组，并在线性尺度上可视化不同技术之间的相对性能提升。
• 通过性能分析研究运行时行为，并推测性能异常的潜在原因，特别是WebAssembly的优越性。

实验结果

研究问题

• RQ1 在浏览器环境中，WebAssembly在计算密集型AI算法上的性能与原生二进制执行相比如何？
• RQ2 现代浏览器虚拟机优化（如JIT编译、SIMD、并行化）在多大程度上缩小甚至超越了原生性能？
• RQ3 为何某些算法在WebAssembly中表现出意料之外的性能提升，尽管其源代码与原生代码相同？
• RQ4 通过WebAssembly实现的浏览器执行能否成为联邦学习与客户端机器学习中替代原生或服务端执行的可行方案？

主要发现

• WebAssembly在多个基准测试中持续优于原生二进制执行，包括快速傅里叶变换和Floyd-Warshall算法，某些情况下性能提升超过2倍。
• JavaScript与WebAssembly之间的性能差距显著，WASM在计算密集型算法（如Permutations和IntCompare）上实现了高达10倍的加速。
• ASM.js相较于JavaScript表现出中等程度的性能提升，但在向量化和可并行化工作负载中仍明显落后于WebAssembly。
• 令人惊讶的是，WebAssembly在FillArrayRand和MinCuts等算法中表现优于原生代码，表明现代浏览器的虚拟机级优化可能超越传统编译技术。
• 内存密集型和随机访问型算法（如FillArrayRand和IntCompare 1e7）的性能波动最大，表明其对内存访问模式和虚拟机内存管理策略高度敏感。
• 结果表明，未来WebAssembly的优化（如原生SIMD和共享内存并发）可能进一步缩小甚至超越原生性能，尤其在分布式和联邦学习工作负载中。