[论文解读] Regular Language Distance and Entropy

Austin J. Parker, Kelly B. Yancey+1 more|arXiv (Cornell University)|Feb 19, 2016

Computability, Logic, AI Algorithms参考文献 13被引用 4

一句话总结

本文通过引入基于Cesáro的Jaccard距离和一种新的基于极限的熵公式，提出了一种新颖且明确定义的正则语言距离度量。该熵公式始终存在，并证明其与Shannon熵及拓扑熵等价。进一步提出一种基于熵的和距离度量，该度量具有粒度且表现为伪度量，解决了传统Jaccard距离在无限正则语言中出现的问题。

ABSTRACT

This paper addresses the problem of determining the distance between two regular languages. It will show how to expand Jaccard distance, which works on finite sets, to potentially-infinite regular languages. The entropy of a regular language plays a large role in the extension. Much of the paper is spent investigating the entropy of a regular language. This includes addressing issues that have required previous authors to rely on the upper limit of Shannon's traditional formulation of entropy, because its limit does not always exist. The paper also includes proposing a new limit based formulation for the entropy of a regular language and proves that formulation to both exist and be equivalent to Shannon's original formulation (when it exists). Additionally, the proposed formulation is shown to equal an analogous but formally quite different notion of topological entropy from Symbolic Dynamics -- consequently also showing Shannon's original formulation to be equivalent to topological entropy. Surprisingly, the natural Jaccard-like entropy distance is trivial in most cases. Instead, the {\it entropy sum} distance metric is suggested, and shown to be granular in certain situations.

研究动机与目标

• 解决经典Jaccard距离在正则语言中固有的根本缺陷，即由于在特定长度处字符串计数的振荡，导致极限可能不存在。
• 为正则语言开发一种始终存在且可计算的明确定义的熵公式，克服Shannon原始极限的非收敛问题。
• 建立一种新的距离度量——熵和距离，该度量在数学上严谨且在特定条件下具有粒度。
• 通过证明其在正则语言语境下等价，统一信息论（Shannon熵）与符号动力学（拓扑熵）的概念。
• 为生物信息学、网络防御和模式匹配等应用中测量正则语言之间的相似性，提供一个稳健的框架。

提出的方法

• 引入Cesáro平均以平滑随字符串长度增加的Jaccard距离中的振荡，确保收敛。
• 定义新的熵公式为极限：$ \lim_{n\to\infty} \frac{\log|W_{\leq n}(L)|}{n} $，其中 $ W_{\leq n}(L) $ 是语言 $ L $ 中长度不超过 $ n $ 的所有字符串的集合。
• 证明该新熵公式始终存在，并在极限存在时等于Shannon原始熵，且与符号动力学中的拓扑熵等价。
• 定义熵和距离 $ H_S(L_1, L_2) = h(L_1 \cap \overline{L_2}) + h(\overline{L_1} \cap L_2) $，其中 $ h $ 为新的熵公式。
• 使用确定性有限自动机（DFAs）算法化地计算熵和距离度量。
• 将理论应用于证明熵和距离为伪度量，并在两个对称差的熵均为正时具有粒度。

实验结果

研究问题

• RQ1 能否以一种始终存在且可计算的方式，将类似Jaccard的距离扩展到无限正则语言？
• RQ2 是否存在一种基于极限的正则语言熵公式，可避免Shannon原始公式的非收敛问题？
• RQ3 所提出的熵公式是否与符号动力学中的拓扑熵等价？
• RQ4 能否构建一种既在数学上严谨又在实际情况下具有粒度的基于熵的距离度量？
• RQ5 为何基于自然Jaccard的熵距离在大多数情况下不具粒度？何种替代度量可解决此问题？

主要发现

• 所提出的熵公式 $ \lim_{n\to\infty} \frac{\log|W_{\leq n}(L)|}{n} $ 对任意正则语言始终存在且有限，解决了先前方法的关键局限。
• 该新熵公式被证明在极限存在时与Shannon原始熵等价，并与符号动力学中的拓扑熵等价。
• 自然类似Jaccard的熵距离在大多数情况下为平凡值（0或1），导致其无法有效区分语言，因此不实用。
• 熵和距离 $ H_S(L_1, L_2) $ 被证明为伪度量，并在 $ h(L_1 \cap \overline{L_2}) > 0 $ 且 $ h(\overline{L_1} \cap L_2) > 0 $ 时具有粒度，表明存在有意义的分离。
• Cesáro Jaccard距离被证明可从DFAs中明确定义且可计算，为经典基于极限的Jaccard距离提供了稳定替代方案。
• 本文确立了先前工作中使用的熵的上确界公式是正确的，并为其使用提供了理论基础。