[论文解读] Next Generation Business Intelligence and Analytics: A Survey

Quoc Duy Vo, Jaya Thomas+4 more|arXiv (Cornell University)|Apr 11, 2017

Big Data and Business Intelligence参考文献 32被引用 4

一句话总结

本综述提出了一套面向下一代业务智能与分析（BI&A）的综合框架，通过先进的后端架构和前端分析，整合了操作型、情境型和自助式BI。该框架利用大数据、云计算和机器学习技术，实现实时、自适应的洞察——通过一个医疗保健用例得到验证，表明预测分析可减少误报并改善患者预后。

ABSTRACT

Business Intelligence and Analytics (BI&A) is the process of extracting and predicting business-critical insights from data. Traditional BI focused on data collection, extraction, and organization to enable efficient query processing for deriving insights from historical data. With the rise of big data and cloud computing, there are many challenges and opportunities for the BI. Especially with the growing number of data sources, traditional BI\&A are evolving to provide intelligence at different scales and perspectives - operational BI, situational BI, self-service BI. In this survey, we review the evolution of business intelligence systems in full scale from back-end architecture to and front-end applications. We focus on the changes in the back-end architecture that deals with the collection and organization of the data. We also review the changes in the front-end applications, where analytic services and visualization are the core components. Using a uses case from BI in Healthcare, which is one of the most complex enterprises, we show how BI\&A will play an important role beyond the traditional usage. The survey provides a holistic view of Business Intelligence and Analytics for anyone interested in getting a complete picture of the different pieces in the emerging next generation BI\&A solutions.

研究动机与目标

• 解决传统三层BI架构在处理实时、复杂和异构数据源方面的局限性。
• 解释BI从历史报告向操作型、情境型和自助式分析的演变过程，以满足动态业务需求。
• 将大数据、云计算和机器学习等现代技术整合到BI的后端与前端系统中。
• 通过详细的ICU用例研究，展示BI&A在复杂领域（如医疗保健）中的变革性作用。
• 突出下一代BI中的数据治理与合规性挑战，并提出适用于企业可扩展性与可靠性的解决方案。

提出的方法

• 调研BI后端架构的演进，重点关注来自各类数据源（如传感器、非结构化文本和实时数据流）的数据集成。
• 分析前端分析引擎的创新，特别是时间序列预测和基于机器学习的整合数据分析。
• 提出一种分层架构，将数据摄取、转换和存储与可视化及决策支持解耦。
• 集成机器学习模型，关联结构化与非结构化数据（如电子健康记录、临床记录和传感器数据），以实现预测性洞察。
• 应用实时数据处理管道，实现实时操作型BI，为动态环境提供低延迟决策支持。
• 通过医疗保健用例验证该框架，特别是在ICU监测中应用传感器数据与临床记录。

实验结果

研究问题

• RQ1 操作型、情境型和自助式BI在架构与功能上如何区别？其各自的技术使能因素是什么？
• RQ2 将异构数据源——尤其是非结构化和实时数据——集成到统一BI系统中的关键挑战是什么？
• RQ3 机器学习与高级分析如何增强BI的预测能力，特别是在医疗保健等高风险领域？
• RQ4 在具有动态数据和用户驱动分析的下一代BI系统中，数据治理在确保合规性与信任方面发挥什么作用？
• RQ5 下一代BI在多大程度上可减少ICU中的误报并改善临床决策？

主要发现

• 传统三层BI架构无法满足实时与自适应分析的需求，必须进行架构演进以支持操作型与情境型BI。
• 在ICU环境中，将传感器数据、临床记录和电子健康记录整合后，每名患者每秒生成超过数kb的数据，对可扩展且智能的数据处理能力提出高要求。
• 机器学习模型可关联不同类型的数据（结构化与非结构化），以提高临床预测准确性并减少误报。
• 在儿科ICU中，92%的报警被证实为误报，凸显了通过智能分析有效过滤与优先排序警报的必要性。
• 自助式BI与情境感知能力使一线用户（如医生、呼叫中心人员）无需专家干预即可访问实时洞察，从而提升响应速度。
• 下一代BI系统必须在敏捷性、治理与合规性之间取得平衡，尤其是在医疗保健等受监管领域，以确保数据完整性和监管一致性。