[论文解读] On Computing a Function of Correlated Sources

Milad Sefidgaran, Aslan Tchamkerten|arXiv (Cornell University)|Jul 28, 2011

Wireless Communication Security Techniques参考文献 26被引用 8

一句话总结

本文研究了在接收端计算两个相关源和辅信息函数的速率区域，推导出内界和外界界，当源在给定辅信息下条件独立或函数部分可逆时，两者一致。结果表明，在多源场景中，最优性能需要使用独立集的多重集，而单源场景中仅使用独立集即可。

ABSTRACT

A receiver wants to compute a function f of two correlated sources X and Y and side information Z. What is the minimum number of bits that needs to be communicated by each transmitter? In this paper, we derive inner and outer bounds to the rate region of this problem which coincide in the cases where f is partially invertible and where the sources are independent given the side information. These rate regions point to an important difference with the single source case. Whereas for the latter it is sufficient to consider independent sets of some suitable characteristic graph, for multiple sources such a restriction is suboptimal and multisets are necessary.

研究动机与目标

• 为了表征接收端在渐近零误差下计算两个相关源和辅信息函数所需的最小通信速率。
• 识别内界和外界界在速率区域上一致的条件，从而确定精确的速率区域。
• 研究单源与多源函数计算之间的结构性差异，特别是编码方案中多重集的必要性。
• 将现有单源函数计算结果（如Orlitsky-Roche）推广至具有辅信息的相关多源场景。
• 证明在多源情况下，仅限制于独立集是次优的，必须使用多重集才能实现最优速率性能。

提出的方法

• 提出一种基于独立集多重集的编码方案，推广单源函数计算技术，获得速率区域的一般内界。
• 利用相关源的率失真理论推导外界界，利用函数和辅信息的结构。
• 应用[3]和[26]中的对偶技术，处理基于源和辅信息函数定义的失真度量。
• 引入一个新随机变量 $ W' $ 及其导出的充分统计量 $ S_Y(W') $，以捕捉条件依赖结构，从而获得更紧致的速率边界。
• 利用马尔可夫链 $ (X,Z) - Y - W' $ 和性质 $ H(f(X,Y,Z)|X,W',Z) = 0 $ 约束 $ W' $ 的支撑，从而定义 $ S_Y(W') $。
• 将问题约化为一组充分统计量 $ S_Y(W') $，表明速率边界依赖于涉及 $ S_Y(W') $ 的条件熵和互信息。

实验结果

研究问题

• RQ1 在什么条件下，计算两个相关源和辅信息函数的速率区域的内界和外界界一致？
• RQ2 为何在多源情况下必须使用独立集的多重集，而单源情况下仅使用独立集即可？
• RQ3 函数 $ f $ 的结构，特别是部分可逆性，如何影响可实现的速率区域？
• RQ4 Slepian-Wolfe 和 Orlitsky-Roche 的单源函数计算结果能否推广至具有辅信息的相关多源场景？
• RQ5 最优编码方案在单源与多源函数计算问题之间存在哪些结构性差异？

主要发现

• 当源 $ X $ 和 $ Y $ 在给定辅信息 $ Z $ 下条件独立时，速率区域的内界和外界界一致，从而对速率区域给出了紧致表征。
• 对于部分可逆函数——即 $ X $ 或 $ Y $ 是 $ f(X,Y,Z) $ 和 $ Z $ 的函数——内界刻画了精确的速率区域。
• 当 $ f(X,Y) = (X,Y) $ 时，本文结果恢复了 Slepian-Wolfe 的速率区域，确认与先前结果的一致性。
• 作为推论，本文框架恢复了单源函数计算的 Orlitsky-Roche 结果，表明该框架可推广已知的单源结果。
• 在多源情况下，使用多重集是必不可少的：若仅限制于独立集，则速率性能次优，而单源情况下此类限制已足够。
• 对偶论证表明 $ H(X|W',Z) = H(X|S_Y(W'),Z) $ 且 $ I(Y;W'|X,Z) = I(Y;S_Y(W')|X,Z) $，意味着充分统计量 $ S_Y(W') $ 捕获了所有相关信息，且 $ R_X \geq H(X|S_Y(W'),Z) $，$ R_Y \geq I(Y;S_Y(W')|X,Z) $。