[论文解读] Transfer Entropy on Rank Vectors

Dimitris Kugiumtzis|arXiv (Cornell University)|Jul 2, 2010

Neural dynamics and brain function参考文献 33被引用 24

一句话总结

本文提出了基于秩向量的转移熵（TERV），作为符号转移熵（STE）的修正与扩展版本，通过使用响应变量下一个时间点的秩而非完整秩向量，并进一步推广至多个未来时间步（T>1）。TERV 提升了信息流检测的准确性，尤其在噪声环境下表现更优，在多种噪声或复杂场景中，其性能优于 STE 和传统转移熵（TE），特别是在使用 T>1 作为未来时域时表现更佳。

ABSTRACT

Transfer entropy (TE) is a popular measure of information flow found to perform consistently well in different settings. Symbolic transfer entropy (STE) is defined similarly to TE but on the ranks of the components of the reconstructed vectors rather than the reconstructed vectors themselves. First, we correct STE by forming the ranks for the future samples of the response system with regard to the current reconstructed vector. We give the grounds for this modified version of STE, which we call Transfer Entropy on Rank Vectors (TERV). Then we propose to use more than one step ahead in the formation of the future of the response in order to capture the information flow from the driving system over a longer time horizon. To assess the performance of STE, TE and TERV in detecting correctly the information flow we use receiver operating characteristic (ROC) curves formed by the measure values in the two coupling directions computed on a number of realizations of known weakly coupled systems. We also consider different settings of state space reconstruction, time series length and observational noise. The results show that TERV indeed improves STE and in some cases performs better than TE, particularly in the presence of noise, but overall TE gives more consistent results. The use of multiple steps ahead improves the accuracy of TE and TERV.

研究动机与目标

• 修正符号转移熵（STE）的定义，使其与标准转移熵（TE）框架保持一致，确保信息流估计的一致性。
• 通过基于秩的估计方法提升对观测噪声的鲁棒性，该方法对真实世界数据中细微结构畸变的敏感性更低。
• 将未来时域扩展至一步以上（T>1），以捕捉耦合系统中延迟或分布式的资讯流动。
• 在不同系统复杂度、嵌入维数、时间序列长度和噪声水平下，评估并比较 TERV、TE 和 STE 的性能。
• 评估在高维状态空间中使用相关和与最近邻方法进行熵估计的稳定性与准确性。

提出的方法

• 通过将响应变量下一个时间点 $ y_{t+1} $ 相对于当前重构向量 $ \mathbf{y}_t $ 的秩定义 TERV，确保与 TE 框架的一致性。
• 将未来响应向量修改为包含 $ y_{t+1}, \ldots, y_{t+T} $ 的秩（$ T > 1 $），以实现对更长未来时域信息流的检测。
• 使用相关和进行熵估计，以避免在高维空间中因分箱带来的问题，尤其适用于 TE 和 TERV。
• 采用最近邻估计作为熵估计的更稳定替代方法，尤其在噪声和高维情形下表现更优。
• 通过在两个耦合方向上测量值的接收者操作特征（ROC）曲线，计算 AUROC 以评估性能。
• 系统性地改变嵌入维数 $ m_x, m_y $、延迟 $ \tau_x, \tau_y $、时间序列长度 $ N $、耦合强度 $ c $ 和噪声水平，以测试鲁棒性。

实验结果

研究问题

• RQ1 将 STE 修正为使用下一个时间点 $ y_{t+1} $ 的秩而非完整秩向量，是否能提升信息流估计的准确性？
• RQ2 将未来时域从 $ T=1 $ 扩展至 $ T>1 $，对弱耦合系统中定向耦合的检测有何影响？
• RQ3 在不同观测噪声水平下，TE、STE 和 TERV 的性能表现如何比较？
• RQ4 嵌入维数的选择对信息流度量的偏差与准确性有何影响？
• RQ5 在噪声环境中，TERV 使用多步未来秩是否能实现比 STE 更稳定和准确的检测？

主要发现

• TERV 通过修正 STE 定义不一致的问题，显著优于 STE，实现了更准确、更可靠的的信息流估计。
• 在噪声条件下，TERV 在检测耦合方向方面优于 TE 和 STE，尤其当未来时域 $ T>1 $ 时表现更佳。
• 使用 $ T>1 $ 可提升 TE 和 TERV 的检测准确性，但对 STE 无改善，原因在于其秩向量构造方式。
• 所有度量在嵌入维数较高时均表现出更大的偏差，但基于秩的度量（STE 和 TERV）的正偏差大于 TE，尤其在从复杂度较低系统到较高系统的方向上更为明显。
• TE 使用相关和估计时在噪声下方差增大，而 STE 和 TERV 更具鲁棒性，在噪声数据中保持更优性能。
• 最近邻熵估计方法比基于分箱的方法更稳定，尤其在高维状态空间和噪声环境下表现更优。