[论文解读] RealitySummary: Exploring On-Demand Mixed Reality Text Summarization and Question Answering using Large Language Models

Aditya Gunturu, Shivesh Jadon+5 more|arXiv (Cornell University)|May 28, 2024

Augmented Reality Applications被引用 4

一句话总结

RealitySummary 引入了一款按需混合现实阅读助手，利用 Google Cloud OCR 和 GPT-4 实时提取、总结并增强任何印刷或数字文档，通过 Microsoft HoloLens 2 和 Apple Vision Pro 投影上下文摘要、关键词列表、时间线和信息卡。该系统实现了无需预处理的动态、AI 驱动的文档增强，在用户研究中展现出出色的可用性和参与度。

ABSTRACT

Large Language Models (LLMs) are gaining popularity as reading and summarization aids. However, little is known about their potential benefits when integrated with mixed reality (MR) interfaces to support everyday reading. In this iterative investigation, we developed RealitySummary, an MR reading assistant that seamlessly integrates LLMs with always-on camera access, OCR-based text extraction, and augmented spatial and visual responses. Developed iteratively, RealitySummary evolved across three versions, each shaped by user feedback and reflective analysis: 1) a preliminary user study to understand reader perceptions (N=12), 2) an in-the-wild deployment to explore real-world usage (N=11), and 3) a diary study to capture insights from real-world work contexts (N=5). Our empirical studies' findings highlight the unique advantages of combining AI and MR, including always-on implicit assistance, long-term temporal history, minimal context switching, and spatial affordances, demonstrating significant potential for future LLM-MR interfaces beyond traditional screen-based interactions.

研究动机与目标

• 开发一种可推广的、按需的混合现实阅读助手，无需预处理即可增强任何实体或数字文档。
• 通过与六名参与者的形成性设计研究，识别并实施有效的文档增强技术，如摘要、对比和导航。
• 通过受控实验和真实环境中的用户研究，评估 AI 驱动的 MR 文档增强在可用性和实际应用场景中的表现。
• 探索多模态输入（如语音、注视）的集成，以及未来扩展功能，如跨页摘要和数字文档链接。

提出的方法

• 利用 Google Cloud OCR 和 OpenCV 实时从实体或数字文档中提取文本和图像。
• 使用 GPT-4 从提取的文本中生成摘要、关键词列表、对比表格、时间线和信息卡。
• 基于文档图像特征的无标记 AR 定位技术，将增强内容在混合现实中空间锚定并渲染在文档周围。
• 集成 Google 的语音转文本 API，支持通过语音命令激活摘要和查询功能。
• 使用 HoloLens 2 和 Apple Vision Pro 将生成的内容作为空间 2D 画布在文档周围投射。
• 结合 OCR、大语言模型和 AR 渲染技术，实现实时、上下文感知的文档增强，无需事先准备文档。

实验结果

研究问题

• RQ1 通过混合现实增强多样化文档类型时，最有效且可推广的技术是什么？
• RQ2 用户如何与实时混合现实环境中按需生成的 AI 增强内容进行交互？
• RQ3 在混合现实中实时、按需增强文档时，OCR 和大语言模型部署面临的技术与可用性挑战是什么？
• RQ4 多模态输入（如语音、注视）如何提升 AI 驱动阅读助手的功能性和适应性？
• RQ5 此类系统在真实世界阅读场景中的长期可用性和参与度前景如何？

主要发现

• 与六名参与者的形成性设计研究识别出五类核心文档增强方式——摘要、增强、导航、对比和提取，据此在系统中实现了六项关键功能。
• 可用性研究（N=12）证实，参与者高度认可始终在线、隐式交互模式，并认为 MR 内容的空间化和具身化显著提升了参与度和理解力。
• 真实环境研究（N=11）展示了系统在多样化真实阅读场景中的实际适用性，用户赞赏其对未经准备文档的适应能力。
• 在仅含文本的文档上观察到 AR 定位不稳定，尤其是在低光照条件下，凸显了当前 AR 定位鲁棒性的局限。
• OCR 和图像追踪性能受文档质量影响，导致处理延迟和潜在错误。
• LLM 生成的内容在模糊或高度专业化的文本中偶尔出现错误，表明需要改进提示工程或领域微调。