[论文解读] Perfectly Secure Steganography Using Minimum Entropy Coupling

Christian Schroeder de Witt, Samuel Sokota+3 more|arXiv (Cornell University)|Oct 24, 2022

Advanced Steganography and Watermarking Techniques被引用 12

一句话总结

本文提出了一种新颖的隐写术框架，通过利用最小熵耦合（MEC）来诱导隐写过程，实现了对任意载体分布的完美安全。该研究证明，完美安全等价于使用密文与载体之间的耦合，而当耦合具有最小联合熵时，可实现最大效率——从而通过深度生成模型实现可扩展的信息论安全通信，其经验性能超越了现有基线方法。

ABSTRACT

Steganography is the practice of encoding secret information into innocuous content in such a manner that an adversarial third party would not realize that there is hidden meaning. While this problem has classically been studied in security literature, recent advances in generative models have led to a shared interest among security and machine learning researchers in developing scalable steganography techniques. In this work, we show that a steganography procedure is perfectly secure under Cachin (1998)'s information-theoretic model of steganography if and only if it is induced by a coupling. Furthermore, we show that, among perfectly secure procedures, a procedure maximizes information throughput if and only if it is induced by a minimum entropy coupling. These insights yield what are, to the best of our knowledge, the first steganography algorithms to achieve perfect security guarantees for arbitrary covertext distributions. To provide empirical validation, we compare a minimum entropy coupling-based approach to three modern baselines -- arithmetic coding, Meteor, and adaptive dynamic grouping -- using GPT-2, WaveRNN, and Image Transformer as communication channels. We find that the minimum entropy coupling-based approach achieves superior encoding efficiency, despite its stronger security constraints. In aggregate, these results suggest that it may be natural to view information-theoretic steganography through the lens of minimum entropy coupling.

研究动机与目标

• 建立完美隐写术安全与分布之间概率耦合之间的正式联系。
• 确定在保证完美安全的前提下，隐写术程序实现最大信息吞吐量的条件。
• 开发一种可扩展的、适用于任意载体分布的实用隐写术系统，利用深度生成模型实现。
• 通过实证验证，基于MEC的隐写术在实现完美安全（KL散度为零）的同时，编码效率高于现有方法。

提出的方法

• 理论框架表明，只有当隐写术过程由密文与载体分布之间的耦合诱导时，才可实现完美安全。
• 该方法识别出，在所有完美安全的隐写术过程中，当耦合具有最小联合熵时，即为最小熵耦合（MEC）时，可实现最大信息吞吐量。
• 该方法使用迭代最小熵耦合（iMEC）算法，构建可分解密文分布与自回归指定载体分布之间的耦合，即使在支持集较大或无限的情况下也适用。
• 密文被设计为呈现均匀随机性，确保联合分布匹配所需边缘分布的同时最小化熵。
• 该方法利用MEC的近似算法，其联合熵最多比最优值高1比特，同时保持精确的边缘化性质。
• 实证评估采用GPT-2、WaveRNN和Image Transformer作为载体生成器，通过KL散度和每步比特数指标，将iMEC与算术编码、Meteor和ADG进行比较。

实验结果

研究问题

• RQ1 完美隐写术安全是否等价于密文与载体分布之间存在耦合？
• RQ2 能否利用最小熵耦合构建既完美安全又高效的信息隐藏系统？
• RQ3 基于MEC的隐写术方法是否在安全性和编码效率方面均优于现有信息论基线方法？
• RQ4 iMEC能否扩展至具有复杂高维载体分布的深度生成模型？

主要发现

• 基于iMEC的方法，其隐写文本与载体分布之间的KL散度处于数值精度量级，证实了理论上的完美安全保证。
• 在所有评估模型（GPT-2、WaveRNN、Image Transformer）中，iMEC方法的编码效率（每步传输比特数）均高于算术编码、Meteor和ADG。
• 理论上已证明，在所有完美安全的隐写术过程中，由最小熵耦合诱导的方案可实现最大信息吞吐量。
• 该方法是首个实现对任意载体分布完美安全的隐写术系统，克服了以往算法仅限于特定分布（如均匀分布）的局限性。
• 实证结果表明，当使用基于MEC的隐写术时，由于KL散度接近零，Cachin模型下的统计隐写分析方法完全失效。
• iMEC算法成功构建了可分解密文与自回归载体分布之间的耦合，使系统能够扩展至复杂的深度生成模型。