[论文解读] Qlib: An AI-oriented Quantitative Investment Platform

Xiao Yang, Weiqing Liu+3 more|arXiv (Cornell University)|Sep 22, 2020

Stock Market Forecasting Methods参考文献 21被引用 29

一句话总结

Qlib 是一个面向人工智能的量化投资平台，旨在解决现代人工智能驱动的量化金融所面临的基础设施与工作流挑战。它提供高性能、可配置的数据处理、模型训练与回测流水线，显著优于传统数据库在数据加载和特征计算方面的性能——通过表达式缓存最高可节省 80.4% 的时间，通过内存缓存实现 24% 的计算加速。

ABSTRACT

Quantitative investment aims to maximize the return and minimize the risk in a sequential trading period over a set of financial instruments. Recently, inspired by rapid development and great potential of AI technologies in generating remarkable innovation in quantitative investment, there has been increasing adoption of AI-driven workflow for quantitative research and practical investment. In the meantime of enriching the quantitative investment methodology, AI technologies have raised new challenges to the quantitative investment system. Particularly, the new learning paradigms for quantitative investment call for an infrastructure upgrade to accommodate the renovated workflow; moreover, the data-driven nature of AI technologies indeed indicates a requirement of the infrastructure with more powerful performance; additionally, there exist some unique challenges for applying AI technologies to solve different tasks in the financial scenarios. To address these challenges and bridge the gap between AI technologies and quantitative investment, we design and develop Qlib that aims to realize the potential, empower the research, and create the value of AI technologies in quantitative investment.

研究动机与目标

• 解决量化投资工作流中对原生人工智能基础设施日益增长的需求。
• 克服传统数据库在数据加载、特征计算和模型训练中常见的性能瓶颈。
• 通过灵活、基于配置的流水线引擎，实现端到端的人工智能驱动量化研究。
• 为金融数据工作负载提供领域特定的优化，包括表达式缓存和数据集缓存。
• 通过集成领域感知工具与高性能计算，弥合人工智能技术与量化金融之间的差距。

提出的方法

• 提出一种基于配置的流水线引擎（CDPE），允许用户通过声明式配置文件定义复杂量化研究工作流。
• 采用紧凑的列式存储格式，专为金融时间序列数据优化，实现快速内存访问与高效的 I/O 操作。
• 实现表达式缓存，避免在多次训练运行中重复计算衍生特征（如技术指标）。
• 使用数据集缓存持久化预计算的特征数组，大幅减少重复实验中的冗余计算。
• 支持多核并行处理，加速数据处理与模型训练工作负载。
• 提供响应式强化学习模拟器，支持端到端的基于强化学习的交易策略开发。

实验结果

研究问题

• RQ1 如何通过可扩展、高性能的基础设施高效支持人工智能驱动的量化投资工作流？
• RQ2 针对金融时间序列工作负载优化数据存储与处理，能实现多大的性能提升？
• RQ3 表达式缓存与数据集缓存等机制在迭代模型训练中，能在多大程度上减少冗余计算？
• RQ4 在实际量化任务中，Qlib 的基础设施与通用数据库（如 MySQL、MongoDB、InfluxDB、HDF5）相比表现如何？
• RQ5 统一且可配置的平台是否能加速人工智能驱动交易策略的开发与评估？

主要发现

• Qlib 的紧凑存储格式在数据加载速度上与优化后的 HDF5 文件相当，由于 I/O 开销更低，优于通用数据库。
• 启用表达式缓存后，当无缓存未命中时，Qlib 在特征计算上节省了 80.4% 的时间。
• 同时启用表达式与数据集缓存后，与无缓存配置相比，总任务时间最多减少 24%。
• 多核并行处理显著缩短了计算时间，Qlib +E +D 在多 CPU 系统上实现了接近线性的加速比。
• 在端到端数据处理与特征计算任务中，Qlib 的基础设施在量化投资场景下优于 HDF5、MySQL、MongoDB 和 InfluxDB。
• 该平台的缓存机制与优化的存储设计，使其在金融领域迭代性强、计算密集型的人工智能工作流中尤为高效。