[论文解读] The Artificial Regression Market

Nathan Lay, Adrian Barbu|arXiv (Cornell University)|Apr 18, 2012

Sports Analytics and Performance参考文献 8被引用 4

一句话总结

本文提出回归市场（Regression Market），一种新颖的机器学习框架，通过使用奖励核函数动态更新预测，将人工预测市场从分类任务推广至回归任务。该框架引入两种学习规则——增量更新与高斯更新，实证表明在大多数UCI与LIAAD数据集上，市场聚合的回归器性能优于随机森林，尤其在浅层决策树叶子节点的聚合方面表现更优。

ABSTRACT

The Artificial Prediction Market is a recent machine learning technique for multi-class classification, inspired from the financial markets. It involves a number of trained market participants that bet on the possible outcomes and are rewarded if they predict correctly. This paper generalizes the scope of the Artificial Prediction Markets to regression, where there are uncountably many possible outcomes and the error is usually the MSE. For that, we introduce the reward kernel that rewards each participant based on its prediction error and we derive the price equations. Using two reward kernels we obtain two different learning rules, one of which is approximated using Hermite-Gauss quadrature. The market setting makes it easy to aggregate specialized regressors that only predict when an observation falls into their specialization domain. Experiments show that regression markets based on the two learning rules outperform Random Forest Regression on many UCI datasets and are rarely outperformed.

研究动机与目标

• 将人工预测市场从离散分类推广至具有不可数多个结果的连续回归任务。
• 解决在传统离散合约不适用的市场式框架中建模连续响应变量的挑战。
• 设计一种奖励核机制，量化预测准确性，并指导回归市场的学习过程。
• 实现仅在特定输入区域内有效预测的专用回归器的有效聚合。
• 实证证明所提出的回归市场在性能上优于随机森林回归等标准方法。

提出的方法

• 引入奖励核函数 $K(t; y)$，用于量化给定真实值 $y$ 时对预测值 $t$ 的奖励，以连续误差为基础的奖励替代离散合约支付。
• 推导市场条件密度 $c(y|\mathbf{x})$ 的价格方程，确保预算平衡，并与概率解释保持一致。
• 提出两种学习规则：一种基于狄拉克函数更新，另一种采用高斯奖励核，后者通过埃尔米特-高斯求积法近似。
• 利用市场均衡条件 $c(y|\mathbf{x}) = \sum_{m=1}^{M} \beta_m \phi_m(y|\mathbf{x}, \mathbf{c})$ 将预测建模为各独立回归器输出的加权平均。
• 将市场框架应用于聚合浅层决策树叶子节点的预测，为更准确的叶子节点分配更高权重。
• 采用线性聚合机制，最终预测值为期望值 $y = \int t \cdot c(t|\mathbf{x}) dt$，该值由均衡价格函数推导得出。

实验结果

研究问题

• RQ1 人工预测市场能否从分类任务推广至具有连续结果的回归任务？
• RQ2 如何设计奖励核函数，以在回归设置中提供连续且基于误差的反馈？
• RQ3 确保回归市场收敛性与准确性的数学性质及学习规则为何？
• RQ4 市场框架能否有效聚合仅在有限输入区域中预测的专用回归器？
• RQ5 回归市场在真实世界数据集上的性能与随机森林回归等成熟方法相比如何？

主要发现

• 采用增量更新的回归市场（DM）在16个UCI与LIAAD数据集中的11个上，均方误差（MSE）显著优于随机森林（RF）。
• 采用高斯更新的市场（GM）在14个数据集上优于RF，仅有2个数据集表现显著更差，归因于过拟合或核函数调参不佳。
• 在friedman1数据集上，DM的MSE为4.701，优于RF的5.076，提升7.3%。
• 在auto-mpg数据集上，DM的MSE为7.817，显著优于RF的8.248，提升5.2%。
• 基于市场机制聚合深度为5的树叶子节点，性能优于简单投票机制，证明加权聚合优于无权重集成。
• 运行速度分析显示，深度为5的树比深度为10的树快约1.8至3.3倍，且市场在更低计算成本下仍保持高精度。