[论文解读] Semantic, Cognitive, and Perceptual Computing: Advances toward Computing for Human Experience

Amit Sheth, Pramod Anantharam+1 more|arXiv (Cornell University)|Oct 20, 2015

Semantic Web and Ontologies参考文献 7被引用 5

一句话总结

本文提出了一套统一框架，整合语义计算、认知计算与感知计算，以实现以人为本的计算，将多模态、异构的大数据转化为可操作的洞察。该框架引入了感知计算作为新型范式，其模型基于自下而上和自上而下的大脑处理机制，并通过哮喘管理应用进行了验证，成功将复杂数据转化为智能、决策支持型信息。

ABSTRACT

The World Wide Web continues to evolve and serve as the infrastructure for carrying massive amounts of multimodal and multisensory observations. These observations capture various situations pertinent to people's needs and interests along with all their idiosyncrasies. To support human-centered computing that empower people in making better and timely decisions, we look towards computation that is inspired by human perception and cognition. Toward this goal, we discuss computing paradigms of semantic computing, cognitive computing, and an emerging aspect of computing, which we call perceptual computing. In our view, these offer a continuum to make the most out of vast, growing, and diverse data pertinent to human needs and interests. We propose details of perceptual computing characterized by interpretation and exploration operations comparable to the interleaving of bottom and top brain processing. This article consists of two parts. First we describe semantic computing, cognitive computing, and perceptual computing to lay out distinctions while acknowledging their complementary capabilities. We then provide a conceptual overview of the newest of these three paradigms--perceptual computing. For further insights, we focus on an application scenario of asthma management converting massive, heterogeneous and multimodal (big) data into actionable information or smart data.

研究动机与目标

• 解决将海量、多模态、异构数据转化为有意义的、以人类为中心的信息以支持更好决策的挑战。
• 通过引入计算范式连续体，弥合数据丰富环境与人类认知和感知过程之间的差距。
• 提出感知计算作为新范式，模拟人类感官与解释性处理，以实现对现实世界数据的解释。
• 通过哮喘管理中的实际应用场景，展示该集成框架的实际效用。
• 通过整合语义、认知与感知处理层，实现更智能、及时且个性化的决策支持。

提出的方法

• 提出三层计算连续体：语义计算（语义提取）、认知计算（推理与决策）和感知计算（类感官解释）。
• 提出感知计算作为双过程模型，受大脑处理中交错的自下而上（感官输入）与自上而下（上下文理解）机制启发。
• 在感知计算中采用解释与探索操作，以处理多模态数据中的模糊性与不确定性。
• 将该框架应用于涉及多种数据源（如传感器、电子健康记录和环境输入）的真实哮喘管理场景。
• 通过语义增强对异构数据进行标准化与标注，实现跨模态关联与上下文感知处理。
• 利用认知计算技术对增强后的数据进行推理，为患者和临床医生生成个性化、可操作的洞察。

实验结果

研究问题

• RQ1 如何将语义计算、认知计算与感知计算整合，形成一个连贯的人本计算框架？
• RQ2 感知计算与语义计算、认知计算有何区别，又如何与其互补？
• RQ3 感知计算如何在分析多模态数据时模拟人类感官与解释性处理？
• RQ4 自下而上与自上而下的处理在感知计算中扮演什么角色，其计算建模方式如何？
• RQ5 该集成框架能否在真实世界医疗场景中有效将大规模异构数据转化为可操作的智能数据？

主要发现

• 感知计算提供了一种新颖的计算模型，可模拟人类感官与解释性处理，从而稳健应对模糊与不确定的数据。
• 语义计算、认知计算与感知计算的整合，使大规模多模态数据向可操作洞察的转化更加自然且高效。
• 在哮喘管理案例研究中，该框架成功将异构数据源整合为上下文感知、个性化的建议。
• 所提出的感知计算模型支持解释与探索，体现了感官输入与认知上下文之间的动态互动。
• 该框架在真实应用场景中表现出可行性，显示出在复杂、以人为本领域增强决策能力的潜力。
• 该方法通过将计算操作与人类感知、认知和体验对齐，实现了更智能的数据处理。