[论文解读] Pragmatic Image Compression for Human-in-the-Loop Decision-Making

Siddharth Reddy, Anca D. Dragan+1 more|arXiv (Cornell University)|Jul 7, 2021

Simulation Techniques and Applications被引用 4

一句话总结

本文提出实用图像压缩（PICO），一种人机协同学习方法，通过仅保留用户执行特定任务所必需的视觉特征，将图像压缩至更低比特率。通过训练压缩模型，使其在压缩图像上诱导出与原始图像相同的用户操作——利用对抗判别器区分原始图像与压缩图像的响应——PICO 在多种任务中实现了 2–4 倍的比特率降低，同时保持功能相似性。

ABSTRACT

Standard lossy image compression algorithms aim to preserve an image's appearance, while minimizing the number of bits needed to transmit it. However, the amount of information actually needed by a user for downstream tasks -- e.g., deciding which product to click on in a shopping website -- is likely much lower. To achieve this lower bitrate, we would ideally only transmit the visual features that drive user behavior, while discarding details irrelevant to the user's decisions. We approach this problem by training a compression model through human-in-the-loop learning as the user performs tasks with the compressed images. The key insight is to train the model to produce a compressed image that induces the user to take the same action that they would have taken had they seen the original image. To approximate the loss function for this model, we train a discriminator that tries to distinguish whether a user's action was taken in response to the compressed image or the original. We evaluate our method through experiments with human participants on four tasks: reading handwritten digits, verifying photos of faces, browsing an online shopping catalogue, and playing a car racing video game. The results show that our method learns to match the user's actions with and without compression at lower bitrates than baseline methods, and adapts the compression model to the user's behavior: it preserves the digit number and randomizes handwriting style in the digit reading task, preserves hats and eyeglasses while randomizing faces in the photo verification task, preserves the perceived price of an item while randomizing its color and background in the online shopping task, and preserves upcoming bends in the road in the car racing game.

研究动机与目标

• 为解决标准有损压缩的低效问题，其优化目标为感知保真度而非特定任务的实用性。
• 通过仅保留驱动用户在下游任务中决策的视觉信息，降低图像传输的比特率。
• 开发一种无需事先了解用户任务或动作标签即可适应个体用户行为的压缩方法。
• 验证通过人机协同反馈与对抗训练，可学习到功能相似性（即诱导出相同用户操作）。
• 展示该方法在多种真实世界任务（如数字识别、照片验证、在线购物和视频游戏）中的泛化能力。

提出的方法

• 训练基于神经网络的编码器-解码器压缩模型，从原始输入生成压缩图像。
• 采用人机协同交互：用户在压缩图像上执行任务（如点击、转向、识别），其操作被记录。
• 训练一个判别器，以分类用户操作是由原始图像还是压缩图像触发的。
• 优化压缩模型，使其最大化判别器的混淆度——即让压缩图像上的操作与原始图像上的操作难以区分。
• 使用对抗损失隐式定义功能相似性目标，避免对真实动作标签或任务特定损失函数的依赖。
• 在亚马逊 Mechanical Turk 上使用真实人类参与者，对多个任务应用该方法，模型在试点数据上进行训练，评估则在新用户上进行。

实验结果

研究问题

• RQ1 图像压缩能否以功能相似性（即诱导出相同用户操作）为目标，而非感知保真度？
• RQ2 在无显式任务标签的情况下，压缩模型在人机协同反馈下能多大程度学习到与任务相关的特征？
• RQ3 与非自适应和感知相似性基线相比，实用压缩在多样化任务中能实现多大程度的比特率降低？
• RQ4 PICO 是否能自适应地保留关键任务特征（如数字、眼镜、道路弯道），同时丢弃无关细节（如手写体、背景、远处道路）？
• RQ5 在低比特率约束下，PICO 是否能维持用户在实时决策任务（如视频游戏）中的表现和情境意识？

主要发现

• PICO 在保持用户在压缩图像与原始图像上操作一致的同时，比特率比非自适应和感知相似性基线降低了 2–4 倍。
• 在数字识别任务中，PICO 保留了数字本身，但随机化了手写风格，体现了对任务特定特征的优先保留。
• 在照片验证任务中，PICO 保留了帽子和眼镜，但随机化了面部特征，与检测遮挡的任务目标一致。
• 在在线购物任务中，PICO 保留了感知到的价格和汽车形状，同时丢弃了颜色和背景，使用户能在更低比特率下准确基于价格进行选择。
• 在赛车游戏任务中，PICO 保留了对转向决策至关重要的道路弯道和角度，导致道路前进距离显著更高（F(1,11) = 176.32, p < .0001），优于非自适应基线。
• 用户报告称，与非自适应压缩相比，PICO 提供了更高的情境意识和控制感，表明在带宽受限条件下具有更好的可用性。