[论文解读] Systematic Review on Reinforcement Learning in the Field of Fintech

Nadeem Malibari, Iyad Katib+1 more|arXiv (Cornell University)|Apr 29, 2023

FinTech, Crowdfunding, Digital FinanceBusiness, Management and Accounting被引用 3

一句话总结

本篇系统性综述采用PRISMA框架，评估2018年至今强化学习（RL）在金融科技中的应用，分析RL在投资组合优化、风险管理及交易策略方面的影响力。研究发现，RL方法在算法交易、机器人顾问和做市等关键金融科技领域，于盈利能力、可扩展性及决策准确性方面显著优于最先进算法。

ABSTRACT

Applications of Reinforcement Learning in the Finance Technology (Fintech) have acquired a lot of admiration lately. Undoubtedly Reinforcement Learning, through its vast competence and proficiency, has aided remarkable results in the field of Fintech. The objective of this systematic survey is to perform an exploratory study on a correlation between reinforcement learning and Fintech to highlight the prediction accuracy, complexity, scalability, risks, profitability and performance. Major uses of reinforcement learning in finance or Fintech include portfolio optimization, credit risk reduction, investment capital management, profit maximization, effective recommendation systems, and better price setting strategies. Several studies have addressed the actual contribution of reinforcement learning to the performance of financial institutions. The latest studies included in this survey are publications from 2018 onward. The survey is conducted using PRISMA technique which focuses on the reporting of reviews and is based on a checklist and four-phase flow diagram. The conducted survey indicates that the performance of RL-based strategies in Fintech fields proves to perform considerably better than other state-of-the-art algorithms. The present work discusses the use of reinforcement learning algorithms in diverse decision-making challenges in Fintech and concludes that the organizations dealing with finance can benefit greatly from Robo-advising, smart order channelling, market making, hedging and options pricing, portfolio optimization, and optimal execution.

研究动机与目标

• 考察强化学习（RL）在金融科技应用中的整合情况。
• 评估基于RL的策略在投资组合管理与信用风险等关键金融科技领域中的表现。
• 识别RL在真实金融决策中的优势、局限性及可扩展性。
• 比较RL结果与最先进算法在盈利能力、准确性和风险缓解方面的表现。
• 采用标准化综述方法，提供近期强化学习在金融科技中进展的全面、基于证据的综合分析。

提出的方法

• 本研究采用PRISMA（系统性综述与Meta分析首选报告项目）框架，以确保方法论严谨性和透明度。
• 开展了系统性文献检索，聚焦2018年至今在计算金融、人工智能及机器学习领域发表的同行评审出版物。
• 应用纳入与排除标准，根据研究与RL在金融科技中的相关性、方法论严谨性及实证评估能力筛选文献。
• 分析31页内容、15幅图表及7张表格，提取RL在多个金融科技应用中表现的洞察。
• 数据综合聚焦于比较性能指标，包括预测准确性、盈利能力及风险敞口。
• 综述采用四阶段流程图与检查表，以确保研究筛选与分析的可重复性，并最大限度减少偏倚。

实验结果

研究问题

• RQ1 与传统方法相比，强化学习如何提升投资组合优化中的决策能力？
• RQ2 基于RL的系统在金融科技应用中的关键性能指标（如盈利能力、风险降低）是什么？
• RQ3 在金融环境中，基于RL的策略与最先进算法相比，在可扩展性与鲁棒性方面表现如何？
• RQ4 强化学习在金融科技中最突出的应用是什么？其在实际部署中面临哪些挑战？
• RQ5 在金融机构中部署RL相关联的局限性与风险有哪些？

主要发现

• 基于RL的策略在投资组合优化中表现更优，实现了高于传统方法的风险调整后收益。
• 在算法交易与做市中，RL模型展现出更优的执行质量并降低了市场冲击。
• 采用RL的机器人顾问系统在个性化投资建议方面优于基于规则和监督学习的模型。
• 在期权定价与对冲中应用RL，可在市场波动下实现更准确的动态对冲策略。
• 尽管性能强劲，但各研究一致报告了可解释性、训练稳定性及监管合规性方面的挑战。
• 综述证实，RL在高维、序列决策任务中具备可扩展性与有效性，而这类任务在金融科技中极为常见。