[论文解读] Tuning parameter selection in econometrics

Denis Chetverikov|arXiv (Cornell University)|May 5, 2024

Forecasting Techniques and Applications被引用 18

一句话总结

对非参数和 L1 惩罚经济计量估计中参数选择方法的有选择性综述，详细介绍 Mallows、Stein、Lepski、交叉验证、惩罚和聚合，并扩展至聚类、面板和广义模型。

ABSTRACT

I review some of the main methods for selecting tuning parameters in nonparametric and $\ell_1$-penalized estimation. For the nonparametric estimation, I consider the methods of Mallows, Stein, Lepski, cross-validation, penalization, and aggregation in the context of series estimation. For the $\ell_1$-penalized estimation, I consider the methods based on the theory of self-normalized moderate deviations, bootstrap, Stein's unbiased risk estimation, and cross-validation in the context of Lasso estimation. I explain the intuition behind each of the methods and discuss their comparative advantages. I also give some extensions.

研究动机与目标

• 澄清经济计量学中非参数与高维设定下的主要调参问题。
• 介绍并比较用于序列估计量的主流方法（Mallows、Stein、Lepski、交叉验证、惩罚、聚合）。
• 解释理论保证，如 oracle 不等式和渐近最优性，并讨论实际可行性与扩展。
• 突出聚类/面板数据以及分位数和广义线性模型的扩展。
• 就何时各方法具有优势以及它们与估计/预测目标之间的关系提供指南。

提出的方法

• 描述非参数均值回归中的序列估计量问题设定以及高维 Lasso 估计的问题设定。
• 解释 Mallows 与 Stein 的无偏风险估计方法及其条件（例如 Stein 在高斯误差下的条件）。
• 概述 Lepski 方法及其基于偏差-方差考量的点态自适应机制（可扩展到其他指标）。
• 讨论交叉验证的变体（验证、V 折、留一法）及其普遍性与局限性。
• 呈现惩罚与聚合视角作为带有 oracle 不等式含义的调参机制。
• 注记聚类/面板数据及分位数和广义线性模型的扩展。

实验结果

研究问题

• RQ1 哪些主要的调参方法适用于非参数序列估计量和高维 Lasso 估计？
• RQ2 在何种正则性条件下这些方法能够提供（几乎） oracle 或渐近最优性能？
• RQ3 在预测、L2、均匀、逐点等指标以及数据结构（独立同分布、聚类、面板）方面，不同方法的适用性比较如何？
• RQ4 实现这些方法的实际考虑因素（可行性、所需假设、计算问题）？

主要发现

• Mallows 与 Stein 提供无偏风险估计量，在预测和 L2 指标下产生渐近最优的预测量（Mallows 具有可行的实际插件形式）。
• Stein 提供的方法扩展到非线性估计量并要求高斯误差，在序列估计的情形下通常与 Mallows 结果相同。
• Lepski 方法在逐点（并可扩展到均匀和 L2）指标上提供自适应与保证，自适应代价取决于不敏感区域和所选的 alpha/beta。
• 交叉验证具有普遍性和实用性，但在某些情形下（尤其是留一法情形）可能不够有效。
• 惩罚与聚合提供全局性能保证，并可与 oracle 不等式关联；当无偏风险估计难以实现时提供替代方案。
• 该综述还讨论了聚类/面板数据以及分位数和廣义线性模型的扩展，拓宽了适用性。