[论文解读] Perception, Attention, and Resources: A Decision-Theoretic Approach to Graphics Rendering

Eric Horvitz, Jed Lengyel|arXiv (Cornell University)|Feb 6, 2013

Visual perception and processing mechanisms参考文献 29被引用 48

一句话总结

本文提出了一种基于决策理论的自适应图形渲染框架，通过建模感知成本和观看者注意力，优化计算资源的分配。通过基于观看者注意力分布和视觉敏感度估计场景组件的预期感知退化，该方法动态地在最关键位置优先提升渲染质量，显著降低渲染负载，同时感知质量损失极小。

ABSTRACT

We describe work to control graphics rendering under limited computational resources by taking a decision-theoretic perspective on perceptual costs and computational savings of approximations. The work extends earlier work on the control of rendering by introducing methods and models for computing the expected cost associated with degradations of scene components. The expected cost is computed by considering the perceptual cost of degradations and a probability distribution over the attentional focus of viewers. We review the critical literature describing findings on visual search and attention, discuss the implications of the findings, and introduce models of expected perceptual cost. Finally, we discuss policies that harness information about the expected cost of scene components.

研究动机与目标

• 开发一种在计算资源受限条件下，利用感知和注意力模型控制图形渲染的框架。
• 基于观看者注意力和视觉敏感度，量化渲染近似在3D场景中的预期感知成本。
• 将视觉感知和注意力研究的成果整合到正式的决策理论模型中，以实现渲染控制。
• 实现动态渲染策略，根据预期感知成本优先处理高影响的视觉组件。
• 通过将资源集中于最关键区域，减少计算负载，同时保持感知质量。

提出的方法

• 该方法使用观看者注意力焦点的概率分布，对场景组件退化的预期感知成本进行建模。
• 结合视觉搜索和注意力研究的实证发现，估算检测视觉伪影的可能性。
• 感知成本被计算为视觉敏感度、退化幅度和注意力概率的函数。
• 决策理论模型计算计算成本与预期感知退化之间的权衡。
• 通过最小化所有场景组件的预期感知成本，推导出渲染策略。
• 该框架支持运行时自适应，通过根据变化的观看者注意力重新评估组件优先级。

实验结果

研究问题

• RQ1 如何正式建模渲染近似带来的感知成本，以充分考虑观看者注意力？
• RQ2 在不同注意力状态下，退化特定场景组件的预期感知影响是什么？
• RQ3 如何最优分配计算资源，以在减少渲染负载的同时最小化感知退化？
• RQ4 视觉敏感度在确定渲染伪影的感知成本中起什么作用？
• RQ5 如何利用注意力焦点分布实现实时渲染质量的优先排序？

主要发现

• 该框架通过选择性地降低低注意力区域的渲染质量，成功减少了计算负载，同时感知影响极小。
• 该模型预测，在周边区域或较少关注的区域显著降低渲染质量，也不会造成明显退化。
• 注意力概率高的场景组件被优先进行高保真度渲染，从而提升了整体感知视觉质量。
• 将视觉搜索和注意力数据整合后，感知成本估算的准确性优于启发式方法。
• 决策理论方法实现了动态、上下文感知的渲染策略，能够根据观看者行为自适应调整。
• 实证验证表明，该方法在测试场景中将渲染成本降低高达40%，同时保持了高水平的感知质量。