[论文解读] Tiled Image Convention for Storing Compressed Images in FITS Binary Tables

R. L. White, P. Greenfield+3 more|arXiv (Cornell University)|Jan 6, 2012

Algorithms and Data Compression被引用 11

一句话总结

本文提出了一种用于在 FITS 二进制表中存储压缩的 n 维图像的分块图像压缩规范，将图像划分为矩形块，独立压缩后存储在可变长度列中。该方法实现了对图像子区域的高效随机访问，并支持多种压缩算法（例如 GZIP、RICE、HCOMPRESS），在压缩比高达 10 的情况下仍能保持高保真度，对天体测量和测光精度的影响极小。

ABSTRACT

This document describes a convention for compressing n-dimensional images and storing the resulting byte stream in a variable-length column in a FITS binary table. The FITS file structure outlined here is independent of the specific data compression algorithm that is used. The implementation details for 4 widely used compression algorithms are described here, but any other compression technique could also be supported by this convention. The general principle used in this convention is to first divide the n-dimensional image into a rectangular grid of subimages or 'tiles'. Each tile is then compressed as a block of data, and the resulting compressed byte stream is stored in a row of a variable length column in a FITS binary table. By dividing the image into tiles it is generally possible to extract and uncompress subsections of the image without having to uncompress the whole image.

研究动机与目标

• 为解决大规模天文图像数据集（如数字化照相底片）的分发挑战，这些数据集过大，难以实际分发。
• 开发一种标准化、灵活的 n 维图像压缩方法，适用于 FITS 格式中的有损和无损压缩。
• 实现在不解压整个图像的前提下，对压缩图像块实现高效的随机访问。
• 在压缩过程中保留关键的图像元数据和世界坐标系信息。
• 评估压缩对天文数据中天体测量和测光测量的影响。

提出的方法

• 使用 ZTILEn 关键字定义块大小，沿每个维度将图像划分为矩形块，块作为 FITS 二进制表中的独立行存储。
• 每个块使用选定的算法（例如 GZIP、RICE、HCOMPRESS）独立压缩，压缩后的数据存储在名为 COMPRESSED_DATA 的可变长度列中。
• 通过 ZCMPTYPE 关键字支持多种压缩算法，使用 ZNAMEn 和 ZVALn 关键字实现标准化的参数处理。
• 原始 FITS 图像中的元数据（包括 BSCALE、BZERO 等关键字以及世界坐标系参数）在压缩头文件中完整保留。
• 对于有损压缩，对图像应用 H 变换，随后对位平面进行四叉树编码，以实现高效率压缩并最小化感知损失。
• 分块结构支持增量解压：仅需解压所需块，即可实现对特定图像区域的快速访问。

实验结果

研究问题

• RQ1 能否设计一种标准化、可扩展的规范，用于在 FITS 二进制表中存储压缩的 n 维图像，同时保留元数据并支持随机访问？
• RQ2 图像压缩在多大程度上会降低天文数据中天体测量和测光精度？
• RQ3 分块压缩方法在减少文件大小的同时，对科学分析中图像保真度的维持效果如何？
• RQ4 有损压缩技术（如 H 变换结合四叉树编码）能否有效保持点源和扩展源的测光精度？
• RQ5 不同编码方法（如四叉树编码与算术编码）在压缩效率与计算成本之间的权衡如何？

主要发现

• 分块压缩规范实现了对压缩图像的高效存储与随机访问，仅需解压所需块，无需处理整个数据集。
• 在 CCD 图像上实现了 3–30 的无损压缩因子，读出噪声较低的图像可实现更高压缩率。
• 即使在压缩比高达 10 的情况下，点源和扩展源的测光精度仍保持极高水平，且 H 变换中的自适应滤波可能进一步提升精度。
• 在压缩比高达 20 时，天体测量精度几乎不受影响，但在更高压缩水平下开始退化，尤其在高度压缩的图像中更为明显。
• 在 H 变换压缩后对位平面进行四叉树编码，可将文件大小减少约 10%，且计算开销极低，效率优于直接的算术编码。
• 该方法使大规模数据集（如星图星表）的分发成为可能，例如在约 100 张 CD-ROM 上实现 10 倍压缩，使原本不可行的数据分发变得切实可行。