[论文解读] Principal Component Analysis and Factor Analysis for Feature Selection in Credit Rating

Shenghuan Yang, lonut Florescu+1 more|arXiv (Cornell University)|Nov 18, 2020

Financial Distress and Bankruptcy Prediction参考文献 20被引用 8

一句话总结

该论文应用主成分分析（PCA）与因子分析（FA）对上市公司信用评级预测中的关键财务特征进行选择，使用两组数据集（财务比率与资产负债表）及两种信用评级映射方式。FA在显著减少特征数量的同时实现了超过95%的准确率，识别出财务比率数据中的七个主导因子与资产负债表数据中的十个主导因子，实现了高效且可解释的信用风险分析。

ABSTRACT

The credit rating is an evaluation of a company's credit risk that values the ability to pay back the debt and predict the likelihood of the debtor defaulting. There are various features influencing credit rating. Therefore, it is essential to select substantive features to explore the main reason for credit rating change. To address this issue, this paper exploited Principal Component Analysis and Factor Analysis as feature selection algorithms to select important features, summarized the similar features together, and obtained a minimum set of features for four sectors, Financial Sector, Energy Sector, Health Care Sector, Consumer Discretionary Sector. This paper used two data sets, Financial Ratio and Balance Sheet, with two mappings, Detailed Mapping, and Coarse Mapping, converting the target variable(credit rating) into categorical variable. To test the accuracy of credit rating prediction, Random Forest Classifier was used to test and train feature sets. The results showed that the accuracy of Financial Ratio feature sets was higher than that of Balance Sheet feature sets. In addition, Factor Analysis can reduce the number of features significantly to obtain almost the same accuracy that can decrease dramatically the time spent on analyzing data; we also summarized seven dominant factors and ten dominant factors affecting credit rating change in Financial Ratio and Balance Sheet by utilizing Factor Analysis, respectively, which can explain the reason of credit rating change better.

研究动机与目标

• 使用降维技术识别影响企业信用评级的最关键财务特征。
• 比较主成分分析（PCA）与因子分析（FA）在选择高精度预测信用评级特征方面的有效性。
• 通过将相关特征汇总为潜在因子，降低数据复杂度，提升可解释性与计算效率。
• 识别并解释驱动不同金融行业信用评级变化的主导潜在因子。
• 使用随机森林模型评估降维后特征集的性能，确定哪种方法在更少特征下实现更高预测准确率。

提出的方法

• 应用主成分分析（PCA）提取能解释最大方差的特征线性组合，使用平方载荷对特征重要性进行排序，以减轻异常值的影响。
• 使用因子分析（FA）识别相关财务变量背后的潜在因子，按每个因子内特征的绝对因子载荷对特征进行排序。
• 通过基于PCA与FA重要性评分的前20个特征选择，优化特征选择过程，确保一致性和鲁棒性。
• 采用两种方案（详细映射与粗略映射）将信用评级映射为分类变量，以支持监督学习。
• 对降维后的特征集进行100次随机森林分类器的训练与测试，计算平均预测准确率。
• 基于高因子载荷将特征分组为可解释的潜在因子，实现对信用风险驱动因素的识别。

实验结果

研究问题

• RQ1 在使用更少特征的情况下，哪种特征选择方法——PCA或因子分析——能对上市公司信用评级实现更高的预测准确率？
• RQ2 在财务比率与资产负债表数据集中，有多少个主导潜在因子能够解释信用评级变化的大部分变异？
• RQ3 哪些可解释的财务因子构成了信用评级变化的基础？它们在两种数据类型之间有何差异？
• RQ4 因子分析是否能在保持高预测准确率的同时，比PCA更有效地降低特征维度？
• RQ5 在相同的机器学习流程下，财务比率特征是否在预测信用评级方面优于资产负债表特征？

主要发现

• 因子分析在显著少于主成分分析的特征数量下实现了超过95%的预测准确率，提升了计算效率。
• 财务比率数据集识别出七个影响信用评级的主导因子：资产负债率与权益资本比率、盈利与利润、现金周转率、流动性、股票价值、融资活动、企业价值。
• 资产负债表数据集揭示了十个主导因子：资产与负债、收入、隐含期权、退休后调整、养老金调整、每股收益、终止经营业务、优先股股利、非控制性权益、研发在建项目。
• 在使用随机森林模型时，基于财务比率的特征集比基于资产负债表的特征集产生了更高的预测准确率。
• PCA中使用平方载荷提升了鲁棒性，减轻了极端值在特征排序过程中的影响。
• 因子分析通过将相似财务指标归入一致的潜在因子，实现了更好的可解释性，为信用评级变化的根本原因提供了更清晰的洞察。