[论文解读] Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning

Andrew Silva, Taylor W. Killian+3 more|arXiv (Cornell University)|Mar 22, 2019

Explainable Artificial Intelligence (XAI)参考文献 47被引用 15

一句话总结

本文提出通过策略梯度强化学习训练的可微决策树（DDTs），以实现在线、可解释的策略学习。结果表明，DDTs在性能上与深度神经网络相当或更优，同时支持人类可读的决策策略；用户研究表明，其奖励比批量训练的决策树高出7倍，且可解释性显著提升（p < 0.001）。

ABSTRACT

Decision trees are ubiquitous in machine learning for their ease of use and interpretability. Yet, these models are not typically employed in reinforcement learning as they cannot be updated online via stochastic gradient descent. We overcome this limitation by allowing for a gradient update over the entire tree that improves sample complexity affords interpretable policy extraction. First, we include theoretical motivation on the need for policy-gradient learning by examining the properties of gradient descent over differentiable decision trees. Second, we demonstrate that our approach equals or outperforms a neural network on all domains and can learn discrete decision trees online with average rewards up to 7x higher than a batch-trained decision tree. Third, we conduct a user study to quantify the interpretability of a decision tree, rule list, and a neural network with statistically significant results ($p &lt; 0.001$).

研究动机与目标

• 通过实现决策树的基于梯度的训练，解决强化学习中在线、可解释函数逼近器的缺乏问题。
• 克服标准决策树不可微的缺陷，从而支持通过随机梯度下降实现在线更新。
• 证明可微决策树在标准强化学习基准测试中可达到或超越深度神经网络的性能。
• 量化可微决策树、决策列表与神经网络在人机协同决策场景中的可解释性与可用性。
• 为在训练可微决策树用于强化学习时采用策略梯度而非Q-learning提供理论依据。

提出的方法

• 提出一种可微决策树（DDT）架构，其中分裂决策通过S型函数参数化，以实现树结构中的梯度传播。
• 使用策略梯度强化学习训练DDT，支持通过反向传播实现端到端、在线的树参数更新。
• 采用可微的软路由机制计算树中的期望回报，从而实现对整个模型的梯度计算。
• 在训练后应用离散剪枝策略，从训练好的DDT中提取可解释的硬性决策规则。
• 开展用户研究，比较DDTs、决策列表与独热编码MLP在真实策略和模拟决策任务中的可解释性与可用性。
• 对MLP权重进行二值化处理，以创建简化、人类可读的版本，确保用户研究中的公平比较。

实验结果

研究问题

• RQ1 可微决策树是否可通过策略梯度强化学习有效训练，以支持强化学习中的在线、增量学习？
• RQ2 使用策略梯度训练的DDTs在标准强化学习环境中的性能与深度神经网络相比如何？
• RQ3 在人类决策任务中，DDTs与决策列表的可解释性是否显著优于神经网络？
• RQ4 与神经网络相比，DDTs的决策过程是否更高效且更少令人沮丧？
• RQ5 在可微决策树上，Q-learning与策略梯度的优化动态有何差异？哪种方法更适合训练？

主要发现

• 使用策略梯度训练的DDTs在相同环境中实现的平均奖励最高可达批量训练决策树的7倍。
• 在所有测试的强化学习领域中，使用策略梯度训练的DDTs性能与深度神经网络基线相当或更优。
• 用户研究表明，决策树与决策列表在可解释性与可用性方面显著优于独热编码MLP（p < 0.001）。
• 参与者使用DDTs与决策列表完成决策任务的速度显著快于使用简化MLP（p < 0.001），表明效率更高。
• 研究发现，参与者若被给予完整且未二值化的MLP，会持续报告放弃任务，凸显可解释模型与黑箱模型之间的可用性差距。
• 理论分析表明，由于优化曲面特性更优，策略梯度比Q-learning在训练可微决策树时更稳定且更合适。