[论文解读] The price of ignorance: The impact of side-information on delay for lossless source-coding

Cheng Chang, Anant Sahai|ArXiv.org|Dec 6, 2007

Wireless Communication Security Techniques参考文献 20被引用 11

一句话总结

本文研究了在实时无损源编码中，编码器对辅信息无知对端到端延迟和误码概率的影响。结果表明，当编码器缺乏辅信息时，可靠性函数（误码指数）相比编码器知晓辅信息时显著下降，揭示了在延迟受限系统中存在一种根本性的‘无知代价’，这与信道编码中反馈的作用类似。

ABSTRACT

Inspired by the context of compressing encrypted sources, this paper considers the general tradeoff between rate, end-to-end delay, and probability of error for lossless source coding with side-information. The notion of end-to-end delay is made precise by considering a sequential setting in which source symbols are revealed in real time and need to be reconstructed at the decoder within a certain fixed latency requirement. Upper bounds are derived on the reliability functions with delay when side-information is known only to the decoder as well as when it is also known at the encoder. When the encoder is not ignorant of the side-information (including the trivial case when there is no side-information), it is possible to have substantially better tradeoffs between delay and probability of error at all rates. This shows that there is a fundamental price of ignorance in terms of end-to-end delay when the encoder is not aware of the side information. This effect is not visible if only fixed-block-length codes are considered. In this way, side-information in source-coding plays a role analogous to that of feedback in channel coding. While the theorems in this paper are asymptotic in terms of long delays and low probabilities of error, an example is used to show that the qualitative effects described here are significant even at short and moderate delays.

研究动机与目标

• 分析在具有辅信息的实时无损源编码中，速率、端到端延迟与误码概率之间的权衡。
• 量化当编码器虽可获取辅信息但对其无知时所承受的性能惩罚。
• 证明当编码器缺乏辅信息时，固定延迟下可靠性函数（误码指数）显著下降。
• 证明该惩罚在块编码模型中不可见，而仅在序列化、延迟受限的设置中显现。
• 在源编码中的辅信息与信道编码中的反馈之间建立类比，表明二者在延迟受限系统中具有相似的性能影响。

提出的方法

• 建立一个序列化源编码系统模型，其中源符号实时呈现，且必须在固定时延内完成解码。
• 使用排队模型分析在固定端到端延迟约束下缓冲区溢出与解码错误概率。
• 应用大偏差技术并结合对码块长度的界，推导出系统误码指数的上界。
• 利用 [OurUpperBoundPaper] 和 [csiszarkorner] 的结果，将块编码的可靠性界转化为固定延迟设置。
• 通过基于不确定性聚焦的对偶论证，推导出仅在解码器处有辅信息（编码器无知）情况下的误码指数上界。
• 引入可靠性函数 $ E_{ei}(R) $，用于表征在编码器无知辅信息且固定延迟下的误码指数。

实验结果

研究问题

• RQ1 在固定延迟无损源编码中，编码器对辅信息无知对误码指数有何影响？
• RQ2 当编码器知晓辅信息与不知晓辅信息时，可靠性函数有何差异？
• RQ3 编码器无知导致的性能惩罚是否可量化为延迟与误码概率的函数？
• RQ4 编码器无知的影响是否仅在序列化、延迟受限系统中可见，还是在块编码模型中也存在？
• RQ5 在固定延迟下，编码器拥有辅信息与信道编码中使用反馈相比，对可靠性的提升效果如何？

主要发现

• 当编码器对辅信息无知时，误码指数 $ E_{ei}(R) $ 严格小于编码器知晓辅信息时可达到的最优误码指数 $ E^{u}_{si,b}(R) $。
• 无知代价导致误码指数显著下降，尤其在接近条件熵的码率区域，此时辅信息的增益最为明显。
• 无知与知情编码器之间的性能差距在固定块长编码中不可见，凸显了序列化系统与基于块的系统之间的关键差异。
• 本文证明，在编码器无知且固定延迟下，误码指数的上界由 $ E_{ei}(R) $ 给出，该值通过在一类误码指数函数族中取最小值得到。
• 即使在中等延迟下，编码器无知的定性影响（如误码概率增加）依然显著，这一点通过数值示例得以验证。
• 结果表明，源编码中的辅信息在作用上类似于信道编码中的反馈，可在固定延迟下提升可靠性，但前提是编码器必须知晓该信息。