[论文解读] Overfitting and correlations in model fitting with separation ratios

I. W. Roxburgh|arXiv (Cornell University)|Aug 22, 2018

Stellar, planetary, and galactic studies被引用 3

一句话总结

本文表明，将分离比 $r_{01}$ 和 $r_{10}$ 合并为单一的 $r_{010}$ 序列会导致过拟合，这是由于强相关性所致，进而导致协方差矩阵近乎奇异，条件数极高，从而引发虚假的模型比较结果。作者建议将 $r_{10}$、$r_{01}$ 和 $r_{02}$ 合并为非过拟合的 $r_{102}$ 或 $r_{012}$ 序列，并使用正确推导的协方差矩阵，从而实现一致且可靠的模型拟合。

ABSTRACT

The $r_{01}$ and $r_{10}$ separation ratios are not independent so combing them into a single series $r_{010}$ is overfitting the data, this can lead to almost singular covariance matrices with very large condition numbers, and hence to spurious results when comparing models and observations. Since the $r_{02}$ ratios are strongly correlated with $r_{10}$ and $r_{01}$ ratios, they should be combined into a single series $r_{102}$ (or $r_{012}$), which are not overfitted, and models and observation compared using the covariance matrix $cov_{102}$ (or $cov_{012}$) of the combined set. I illustrate these points by comparing the revised Legacy Project data with my results on the 10 Kepler stars in common.

研究动机与目标

• 识别在星震学模型拟合中，将 $r_{01}$ 和 $r_{10}$ 比值合并为单一 $r_{010}$ 序列时可能存在的过拟合风险。
• 证明 $r_{010}$ 的协方差矩阵因接近奇异且条件数极大，导致模型比较结果出现虚假性。
• 表明 $r_{02}$ 比值与 $r_{01}$ 和 $r_{10}$ 存在强相关性，因此必须联合处理以避免过拟合。
• 提出将 $r_{10}$、$r_{01}$ 和 $r_{02}$ 合并为单一非过拟合序列 $r_{102}$ 或 $r_{012}$，以实现更稳健的模型-数据比较。
• 通过 10 颢克星系中同时属于遗产项目和作者分析的恒星，验证所提方法，显示使用 $r_{102}$ 或 $r_{012}$ 时 $χ^2$ 值保持一致。

提出的方法

• 使用标准定义（涉及频率差值和归一化）从观测频率中推导出 $r_{01}$、$r_{10}$ 和 $r_{02}$ 分离比。
• 基于频率协方差矩阵，使用 delta 方法计算每个比值的协方差矩阵：$cov(r_i, r_j) = \sum_{k,m} \frac{\partial r_i}{\partial \nu_k} cov(\nu_k, \nu_m) \frac{\partial r_j}{\partial \nu_m}$。
• 从单个比值生成组合序列 $r_{010}$、$r_{102}$ 和 $r_{012}$，将其视为具有完整协方差结构的多变量数据。
• 使用组合序列的完整协方差矩阵计算 $\chi^2$ 统计量，评估模型拟合质量。
• 比较使用遗产项目通过 MCMC 推导的协方差矩阵与作者独立通过最大似然估计推导的矩阵的结果。
• 评估所得协方差矩阵的条件数，以检测因过拟合导致的近奇异现象。

实验结果

研究问题

• RQ1 将 $r_{01}$ 和 $r_{10}$ 合并为单一 $r_{010}$ 序列是否会导致星震学模型拟合中的过拟合及不稳定的协方差矩阵？
• RQ2 为何在使用相同数据和误差时，$r_{010}$ 序列的 $\chi^2$ 值相较于 $r_{01}$ 和 $r_{10}$ 显得异常偏大？
• RQ3 $r_{02}$ 比值是否与 $r_{01}$ 和 $r_{10}$ 足够相关，以至于有理由将其合并为如 $r_{102}$ 或 $r_{012}$ 的单一序列？
• RQ4 使用组合序列 $r_{102}$ 或 $r_{012}$ 及正确计算的协方差矩阵，是否能相比单个比值实现一致且可靠的模型拟合？
• RQ5 $r_{010}$、$r_{102}$ 和 $r_{012}$ 的协方差矩阵的条件数如何比较？这对模型比较中的数值稳定性有何含义？

主要发现

• 由 $r_{01}$ 和 $r_{10}$ 组合而成的 $r_{010}$ 序列在某些恒星（如 KIC 8379927）中表现出高达 5.6 的 $\chi^2$ 值，表明拟合效果差，而单独的 $r_{01}$ 和 $r_{10}$ 序列的 $\chi^2 \sim 10^{-3}$，表明拟合极佳。
• 对于 KIC 6106415，$r_{010}$ 的 $\chi^2_{\text{cov}}$ 为 4.1139，而 $r_{01}$ 和 $r_{10}$ 分别仅为 0.0002 和 0.0003，表明因过拟合导致显著异常。
• $r_{102}$ 和 $r_{012}$ 序列（由 $r_{10}$、$r_{01}$ 和 $r_{02}$ 组合而成）的 $\chi^2_{\text{cov}}$ 值与单独 $r_{10}$ 和 $r_{02}$ 拟合的平均值一致，表明无过拟合现象。
• $r_{010}$ 协方差矩阵的条件数极高（由近奇异性暗示），而 $r_{102}$ 和 $r_{012}$ 矩阵的条件数合理，证实了数值稳定性。
• 对于 KIC 12069449，$r_{0100}$ 的 $\chi^2_{\text{cov}}$ 达到 27.518，而 $r_{102}$ 和 $r_{012}$ 的值分别为 4.883 和 3.965，表明 $r_{010}$ 极不稳定。
• $r_{102}$ 和 $r_{012}$ 序列在全部 10 颞克星系中均产生一致的模型拟合，$r_{102}$ 的 $\chi^2_{\text{cov}}$ 值与 $r_{10}$ 和 $r_{02}$ 的平均值高度吻合，证实这些序列未发生过拟合。