[论文解读] Technical Note: Towards Virtual Monitors for Image Guided Interventions - Real-time Streaming to Optical See-Through Head-Mounted Displays

Long Qian, Mathias Unberath+5 more|arXiv (Cornell University)|Oct 2, 2017

Surgical Simulation and Training被引用 11

一句话总结

本文提出了一种实时虚拟显示器系统，可将高分辨率医学影像流式传输至光学透视式头戴显示器（OST-HMDs），用于影像引导介入手术，实现头、世界或身体锚定的混合现实可视化。系统平均端到端延迟为214±30 ms，刷新率为41.4±32.0 Hz，证明其在X射线引导手术的术前临床评估中具有可行性。

ABSTRACT

Purpose: Image guidance is crucial for the success of many interventions. Images are displayed on designated monitors that cannot be positioned optimally due to sterility and spatial constraints. This indirect visualization causes potential occlusion, hinders hand-eye coordination, leads to increased procedure duration and surgeon load. Methods: We propose a virtual monitor system that displays medical images in a mixed reality visualization using optical see-through head-mounted displays. The system streams high-resolution medical images from any modality to the head-mounted display in real-time that are blended with the surgical site. It allows for mixed reality visualization of images in head-, world-, or body-anchored mode and can thus be adapted to specific procedural needs. Results: For typical image sizes, the proposed system exhibits an average end-to-end delay and refresh rate of 214 +- 30 ms and 41:4 +- 32:0 Hz, respectively. Conclusions: The proposed virtual monitor system is capable of real-time mixed reality visualization of medical images. In future, we seek to conduct first pre-clinical studies to quantitatively assess the impact of the system on standard image guided procedures.

研究动机与目标

• 为解决传统显示器在影像引导介入手术中因无菌要求和空间限制而导致的摆放位置不佳的问题。
• 通过在混合现实中实现医学影像的直视可视化，减轻外科医生工作负荷并改善手眼协调能力。
• 开发一种系统，可实时将任意医学影像模态的高分辨率图像流式传输至光学透视式HMD。
• 评估系统在不同图像尺寸下的端到端延迟、帧率稳定性及渲染刷新率表现。
• 为未来评估系统对手术流程和手术效率影响的术前临床研究提供支持。

提出的方法

• 系统使用帧捕获设备捕获来自荧 Fluoroscopy、C臂CBCT、超声、CT和MRI等医学影像模态的视频输出。
• 专用图像处理单元对输入的图像流进行实时缩放和压缩，以优化HMD渲染性能。
• 医学影像通过网络传输至Microsoft HoloLens光学透视式HMD，该设备利用空间追踪技术将影像叠加至真实的手术视野中。
• 系统支持三种显示模式：头锚定（相对于用户头部固定）、世界锚定（在房间内固定）和身体锚定（相对于患者解剖结构固定）。
• 图像渲染与HMD的刷新周期同步，纹理加载经过优化以实现实时性能。
• 通过测量不同图像尺寸（RGB24格式下620×480至1920×1080像素）下的端到端延迟、帧接收率和渲染刷新率来评估性能。

实验结果

研究问题

• RQ1 能否通过将高分辨率医学影像实时流式传输至光学透视式HMD，实现影像引导介入手术中可接受的延迟和帧率？
• RQ2 系统在不同图像尺寸和影像模态下，其端到端延迟和刷新率表现如何？
• RQ3 图像流媒体管道中的主要性能瓶颈是什么？能否将其隔离并量化？
• RQ4 该系统是否能实现稳定、直视的医学影像可视化，从而相比传统显示器更有效地改善手眼协调能力？
• RQ5 该系统是否适合用于X射线引导手术的术前临床研究？

主要发现

• 系统平均端到端延迟为214±30 ms，其中帧捕获设备和图像处理单元是延迟的主要来源，平均各贡献约100 ms。
• 在典型图像尺寸下的平均刷新率为41.4±32.0 Hz，对于小于1000×1000像素（RGB24格式）的图像，有效帧率超过30 Hz。
• 在1920×1080图像分辨率下，系统保持16.4±6.5 Hz的刷新率，纹理加载延迟为61.3±81.7 ms，表明渲染是主要性能瓶颈。
• 帧接收率在不同图像尺寸间波动显著，620×480图像的波动标准差最高达44.6 Hz，表明数据到达不稳定，可能存在帧聚集现象。
• 系统在所有三种模式（头锚定、世界锚定和身体锚定）下均表现出稳定的混合现实可视化，可灵活适应不同手术需求。
• 结果表明，尽管帧率一致性存在当前局限，该系统仍适用于X射线引导手术的术前临床评估，因为此类手术通常工作在7.5–30 Hz范围内。