[论文解读] Towards automating Numerical Consistency Checks in Financial Reports
KPI-Check 是一种基于 BERT 的系统，通过识别非结构化文本与结构化表格（资产负债表和损益表）中语义等价的关键绩效指标（KPIs），自动化德语财务报告中的数值一致性检查。该系统结合了金融领域命名实体识别（NER）与对比自编码器进行文本对分类，其在保留测试集上的微平均 F1 得分为 73.00%，显著减少了人工审计工作量。
We introduce KPI-Check, a novel system that automatically identifies and cross-checks semantically equivalent key performance indicators (KPIs), e.g. "revenue" or "total costs", in real-world German financial reports. It combines a financial named entity and relation extraction module with a BERT-based filtering and text pair classification component to extract KPIs from unstructured sentences before linking them to synonymous occurrences in the balance sheet and profit & loss statement. The tool achieves a high matching performance of $73.00$% micro F$_1$ on a hold out test set and is currently being deployed for a globally operating major auditing firm to assist the auditing procedure of financial statements.
研究动机与目标
- 减少在财务报告中验证 KPI 数值一致性的手动审计工作量。
- 解决由于复制粘贴和多作者协作流程导致的企业披露中频繁出现的数值不一致问题。
- 通过早期检测 KPI 不匹配来提升投资者信任度与公司声誉。
- 自动化文本描述与财务表格（资产负债表和损益表）之间 KPI 的交叉核对。
- 开发一种可扩展、可部署的系统，以适应现实世界中的审计工作流程。
提出的方法
- 使用 KPI-BERT（一种金融领域专用的 BERT 模型）从非结构化句子中联合提取 KPI 及其数值。
- 采用基于 BERT 的联合句子与表格编码模块，识别与 KPI 匹配相关的句子-表格对。
- 采用基于对比自编码器（CAE）的文本对分类头，判断 KPI 提及内容的语义等价性。
- 集成一个过滤模块，通过剔除无关的 KPI 对来减少训练数据中的类别不平衡。
- 在模型训练期间利用自动化的数值匹配作为弱监督信号，未来计划引入人工标注以进一步提升性能。
- 通过比较货币数值对 KPI 对进行验证，同时考虑规模（如‘百万’）和货币单位的影响。
实验结果
研究问题
- RQ1深度学习模型能否准确识别非结构化文本与结构化财务表格之间语义等价的 KPI？
- RQ2基于 BERT 的方法在检测真实世界德语财务报告中的数值不一致方面效果如何？
- RQ3通过数值匹配实现的自动化弱监督在多大程度上能支持可靠的 KPI 匹配？
- RQ4过滤机制在不损失正样本 KPI 对召回率的前提下，如何有效降低数据不平衡？
- RQ5该系统是否能泛化到存在四舍五入误差或单位不一致的情况，而这些情况会使简单数值匹配失效？
主要发现
- KPI-Check 在保留测试集上取得了 73.00% 的微平均 F1 分数，证明其在检测语义等价 KPI 方面表现优异。
- 该系统成功识别出存在四舍五入或单位不一致（如 'e' 与 'Te'）的 KPI，而这些情况会被简单数值匹配错误分类。
- 它能正确识别出当前年度与上年同期数值偶然匹配但 KPI 本身无关的情况，避免产生误报。
- 过滤模块将负样本与正样本 KPI 对的不平衡比例从 395:1 降低至 46:1，显著提升了训练效率。
- 尽管依赖于自动生成的标注，模型仍表现出良好的泛化能力，这在存在不完美标签的定性测试案例中得到验证。
- 该系统目前已在一家大型全球审计公司部署，初步用户测试表明效率显著提升。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。