[论文解读] Recurrent Neural Networks as Weighted Language Recognizers
本文研究了在自然语言处理中常用的单层ReLU激活、有理权重RNN（带Softmax输出）在一致性、等价性、最小化和最高权重字符串识别等基本问题上的计算复杂度。研究证明，由于RNN具有图灵完备性，大多数问题为不可判定问题；但在一致性与多项式长度约束下，最高权重字符串问题变为NP完全且APX难，从而为实践中使用启发式近似方法提供了理论依据。
We investigate the computational complexity of various problems for simple recurrent neural networks (RNNs) as formal models for recognizing weighted languages. We focus on the single-layer, ReLU-activation, rational-weight RNNs with softmax, which are commonly used in natural language processing applications. We show that most problems for such RNNs are undecidable, including consistency, equivalence, minimization, and the determination of the highest-weighted string. However, for consistent RNNs the last problem becomes decidable, although the solution length can surpass all computable bounds. If additionally the string is limited to polynomial length, the problem becomes NP-complete and APX-hard. In summary, this shows that approximations and heuristic algorithms are necessary in practical applications of those RNNs.
研究动机与目标
- 分析基于RNN的加权语言识别中核心问题的计算复杂度。
- 确定诸如一致性、等价性、最小化和最高权重字符串识别等基本任务在NLP中常用标准RNN上的可判定性或可解性。
- 建立对RNN精确算法的理论限制，从而在实践中推动使用近似和启发式方法。
提出的方法
- 将单层ReLU激活、有理权重、Softmax输出的RNN形式化为加权语言识别器。
- 通过将停机问题归约为证明RNN中的一致性、等价性和最小化问题的不可判定性。
- 构建可模拟图灵机的RNN，通过从不可判定问题的归约证明其不可判定性。
- 在一致性和多项式长度约束下分析最高权重字符串问题，以确立其NP完全性和APX难性。
- 使用加权语言模型，其中RNN为字符串分配实数值权重，总权重计算为标记预测的乘积。
- 应用已知不可判定问题（如停机问题）和复杂度类（如NP完全性）的归约，以建立理论边界。
实验结果
研究问题
- RQ1由RNN计算的加权语言的一致性是否可判定？
- RQ2能否精确且高效地计算由RNN识别的加权语言中的最高权重字符串？
- RQ3两个RNN之间的等价性（即它们是否对所有字符串分配相同权重）是否可判定？
- RQ4在保持语言识别行为不变的前提下，能否精确地最小化RNN中的隐藏神经元数量？
- RQ5当解的长度受多项式边界限制时，寻找最高权重字符串的计算复杂度是多少？
主要发现
- 由RNN计算的加权语言的一致性不可判定，即不存在算法可验证所有字符串的总权重是否为1。
- 两个RNN之间的等价性不可判定，因其可归约为停机问题。
- 即使在有理权重和ReLU激活条件下，RNN中隐藏神经元数量的最小化问题也不可判定。
- 对于一致的RNN，最高权重字符串问题可判定，但解的长度可能超过任何可计算的界限。
- 当限制在多项式长度字符串时，最高权重字符串问题变为NP完全且APX难，表明其固有的计算困难性。
- 这些结果为NLP系统中广泛使用启发式和近似方法（如束搜索和贪婪解码）提供了理论支持。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。