[论文解读] Randomness Testing of Compressed Data

Weiling Chang, Binxing Fang+3 more|arXiv (Cornell University)|Jan 20, 2010

Chaos-based Image/Signal Encryption被引用 7

一句话总结

本文评估了八种不同压缩算法生成的压缩数据的随机性，发现尽管压缩率很高，压缩数据的随机性仍然较差。研究显示压缩率与随机性之间存在正相关关系，结论是压缩算法由于其固有的结构模式，不适合作为随机数生成器。

ABSTRACT

Random Number Generators play a critical role in a number of important applications. In practice, statistical testing is employed to gather evidence that a generator indeed produces numbers that appear to be random. In this paper, we reports on the studies that were conducted on the compressed data using 8 compression algorithms or compressors. The test results suggest that the output of compression algorithms or compressors has bad randomness, the compression algorithms or compressors are not suitable as random number generator. We also found that, for the same compression algorithm, there exists positive correlation relationship between compression ratio and randomness, increasing the compression ratio increases randomness of compressed data. As time permits, additional randomness testing efforts will be conducted.

研究动机与目标

• 评估常见压缩算法生成数据的随机性质量。
• 确定压缩数据是否可作为密码学或模拟应用中随机性的可行来源。
• 研究压缩率与输出数据感知随机性之间的关系。
• 评估基于压缩的方法作为随机数生成器的适用性。

提出的方法

• 作者对各种数据源应用了八种广泛使用的压缩算法，以生成压缩输出。
• 对压缩数据应用了统计随机性测试，以评估其熵和分布特性。
• 测量了压缩率，并将其与测试获得的随机性评分进行相关性分析。
• 研究使用标准统计测试套件分析压缩数据的随机性，重点关注其中的模式和可预测性。

实验结果

研究问题

• RQ1 标准压缩算法生成的压缩数据是否表现出足够的随机性，可用于随机数生成？
• RQ2 压缩率与输出数据随机性之间是否存在可测量的相关性？
• RQ3 不同压缩算法在生成‘看似随机’的数据方面表现如何比较？
• RQ4 能否基于其输出特性，可靠地将压缩算法用作伪随机数生成器？

主要发现

• 所有八种测试算法生成的压缩数据均表现出与真正随机性显著偏离，表明其随机性质量较差。
• 观察到更高的压缩率与更高的随机性评分之间存在正相关关系，表明更激进的压缩可增强表观随机性。
• 尽管压缩率较高，压缩输出中仍存在可检测的模式，因此不适合用于密码学随机性。
• 研究结论认为，由于输出中存在结构可预测性，压缩算法不适合作为随机数生成器。