[论文解读] Robust Mesh Saliency GT Acquisition in VR via View Cone Sampling and Geometric Smoothing

Guoquan Zheng, Hao J-G+5 more|arXiv (Cornell University)|Jan 6, 2026

Visual Attention and Saliency Detection被引用 0

一句话总结

该论文提出了一个基于VR的鲁棒3D网格显著性地面真实值框架，通过使用视锥采样（VCS）来模拟 foveal 视觉，以及混合流形-欧几里得约束扩散（HCD）在网格拓扑上传播显著性，从而在与欧几里得平滑的单射采样相比提高准确性。

ABSTRACT

Reliable 3D mesh saliency ground truth (GT) is essential for human-centric visual modeling in virtual reality (VR). However, current 3D mesh saliency GT acquisition methods are generally consistent with 2D image methods, ignoring the differences between 3D geometry topology and 2D image array. Current VR eye-tracking pipelines rely on single ray sampling and Euclidean smoothing, triggering texture attention and signal leakage across gaps. This paper proposes a robust framework to address these limitations. We first introduce a view cone sampling (VCS) strategy, which simulates the human foveal receptive field via Gaussian-distributed ray bundles to improve sampling robustness for complex topologies. Furthermore, a hybrid Manifold-Euclidean constrained diffusion (HCD) algorithm is developed, fusing manifold geodesic constraints with Euclidean scales to ensure topologically-consistent saliency propagation. By mitigating "topological short-circuits" and aliasing, our framework provides a high-fidelity 3D attention acquisition paradigm that aligns with natural human perception, offering a more accurate and robust baseline for 3D mesh saliency research.

研究动机与目标

• 在VR环境中推动鲁棒的3D网格显著性地面真实值获取。
• 解决在复杂3D拓扑中单射采样与欧几里得平滑的局限性。
• 开发尊重网格拓扑和人眼视觉系统特性的高保真显著性GT方法。
• 创建一个多样化的3D网格显著性数据集，并公开代码与数据。

提出的方法

• 提出一种视锥采样（VCS）策略，发射高斯分布的射束以建模 foveal 感受野。
• 开发混合流形-欧几里得约束扩散（HCD）算法，利用网格上的测地距离和欧几里得尺度来传播显著性。
• 在处理过程中将网格归一化到单位 AABB 对角线以实现尺度一致性。
• 将凝视密度计算为跨被试的累计命中数，避免基于时间的加权偏差。
• 在网格上应用测地高斯扩散以在保持拓扑结构的同时扩散原始显著性（d_G 距离）。
• 将显著性从面映射到顶点，应用拉普拉斯平滑，并执行非线性伽马校正以实现可视化。

实验结果

研究问题

• RQ1 如何收集VR眼动追踪数据以比2D视图投影更好地反映3D表面显著性？
• RQ2 与单射采样相比，Gaussian视锥采样是否可提高对高频纹理和复杂拓扑的鲁棒性？
• RQ3 将流形测地约束与欧几里得扩散结合是否能够在3D网格上实现拓扑一致的显著性传播？
• RQ4 哪些数据集和公开代码能够支持VR中可复现实验的3D网格显著性GT？

主要发现

• VCS + HCD 与基线方法（如 sAUC、CC、KL）相比，对眼动密度的对齐度更高。
• 内部一致性（IC）从0.0557（单射）提升到0.8137（VCS），表明注意模式更稳定。
• CC 从0.1970（单射基线）提升到0.4829（VCS + 本研究方法），KL 从3.2092降至1.1278，表明显著性密度匹配更好。
• VCS 在随网格分辨率增加时显著提升性能，减少显著性泄漏并保持拓扑完整性。
• 消融实验显示 VCS 降低稀疏性并增强鲁棒性；提出的 HCD 处理防止表面间的信号泄漏。
• 作者提供一个包含100个带纹理网格（1k–100万面）的数据集，并将公开源代码和数据。