[论文解读] On the Construction of Polar Codes for Channels with Moderate Input Alphabet Sizes

Ido Tal|arXiv (Cornell University)|Jun 28, 2015

Error Correcting Code Techniques参考文献 16被引用 6

一句话总结

本文通過證明降級近似（常見於控制計算複雜度）不可避免地導致顯著的互信息損失，確立了中等輸入字母大小信道下確定性極化碼構建的效率基本極限。關鍵結果表明，對於此類信道，若要維持低互信息下降，近似信道的輸出字母大小必須大到不切實際的程度，使得目前的構建方法在字母大小較大時變得不可行。

ABSTRACT

Current deterministic algorithms for the construction of polar codes can only be argued to be practical for channels with small input alphabet sizes. In this paper, we show that any construction algorithm for channels with moderate input alphabet size which follows the paradigm of "degrading after each polarization step" will inherently be impractical with respect to a certain "hard" underlying channel. This result also sheds light on why the construction of LDPC codes using density evolution is impractical for channels with moderate sized input alphabets.

研究动机与目标

• 分析中等輸入字母大小信道下確定性極化碼構建演算法的實用性。
• 研究基於對中間信道進行降級或升級的現有方法在輸入字母大小增加時為何變得不可行。
• 量化近似信道的輸出字母大小與互信息損失之間的權衡。
• 提供降級成本的理論下界，以解釋碼構建中的「維度災難」現象。

提出的方法

• 作者定義了一個具有均勻輸入分佈的特定對稱信道，作為分析的難點案例。
• 他們使用基於球面積分與體積集中現象的幾何方法，來界定近似信道的降級成本。
• 推導出若干引理，將近似中機率向量的變異數與產生的互資訊損失聯繫起來。
• 分析利用 Hölder 的缺陷公式與高維機率單形中的體積估計，推導出基於凸性的降級成本下界。
• 該方法將輸出字母分為 L 個群組，並在體積約束下分析可能的最小降級成本。
• 使用 M→∞ 時的漸近分析，以 q（輸入字母大小）和 L（近似輸出大小）表示降級成本的緊緻下界。

实验结果

研究问题

• RQ1 在極化碼構建中，當以中等大小的輸出字母大小 L 近似合成信道時，最小的互資訊損失是多少？
• RQ2 為維持可容忍的降級成本，近似信道所需大小 L 應如何隨輸入字母大小 q 變化？
• RQ3 為何目前的極化碼確定性構建演算法在中等輸入字母大小的信道上不可行？
• RQ4 在標準近似範式下，碼構建中的「維度災難」能否被明確量化？
• RQ5 是否存在僅依賴於 q 和 L、與特定信道結構無關的降級成本基本下界？

主要发现

• 對於中等輸入字母大小 q 的信道，任何具有 L 個輸出字母的降級近似，其降級成本在 M→∞ 時至少以 Ω(q(q−1)!/L(q+1)/(q−1)) 的速度增長。
• 由於降級導致的互資訊損失有下界，該下界隨 q 迅速增加，隨 L 減少，使得對於中等 q 值，L 必須大到不切實際的程度。
• 降級成本的下界是基於機率單形的幾何性質與高維空間中的體積集中現象推導得出。
• 該結果表明，依賴於「每次極化步驟後進行降級」的確定性構建演算法，即使允許小幅互資訊損失，對中等 q 值也變得不可行。
• 該分析解釋了基於密度演化的 LDPC 碼構建在中等字母大小信道上實務上不可行的根本原因。
• 所推導的下界在緊緻意義上是緊的，因為它與在給定約束下可達最小降級成本的漸近行為相符。