[论文解读] On the Possibilities and Limitations of Multi-hop Reasoning Under Linguistic Imperfections

Daniel Khashabi, Erfan Sadeqi Azer+3 more|arXiv (Cornell University)|Jan 8, 2019

Natural Language Processing Techniques参考文献 44被引用 12

一句话总结

本文提出一个形式化框架，用于分析在语言噪声下多跳推理在自然语言理解中的局限性，建模了清晰概念意义与噪声语言表征之间的差距。证明即使在图上的简化连通性问题中，当所需跳数对数增长时，推理系统也会面临根本性的不可能性结果，这是由于词义对齐中累积的噪声所致——强调进展需在复杂推理之前优先提升表征能力。

ABSTRACT

Systems for language understanding have become remarkably strong at overcoming linguistic imperfections in tasks involving phrase matching or simple reasoning. Yet, their accuracy drops dramatically as the number of reasoning steps increases. We present the first formal framework to study such empirical observations. It allows one to quantify the amount and effect of ambiguity, redundancy, incompleteness, and inaccuracy that the use of language introduces when representing a hidden conceptual space. The idea is to consider two interrelated spaces: a conceptual meaning space that is unambiguous and complete but hidden, and a linguistic space that captures a noisy grounding of the meaning space in the words of a language---the level at which all systems, whether neural or symbolic, operate. Applying this framework to a special class of multi-hop reasoning, namely the connectivity problem in graphs of relationships between concepts, we derive rigorous intuitions and impossibility results even under this simplified setting. For instance, if a query requires a moderately large (logarithmic) number of hops in the meaning graph, no reasoning system operating over a noisy graph grounded in language is likely to correctly answer it. This highlights a fundamental barrier that extends to a broader class of reasoning problems and systems, and suggests an alternative path forward: focusing on aligning the two spaces via richer representations, before investing in reasoning with many hops.

研究动机与目标

• 正式量化自然语言表征中语言不完美性——歧义性、冗余性、不完整性、不准确性——对概念意义的影响。
• 将符号接地问题建模为隐藏的、无歧义的意义空间与噪声语言空间之间的映射。
• 在此框架下研究多跳推理的根本限制，特别是概念图中连通性问题的限制。
• 证明基于噪声语言表征运行的推理系统，当所需跳数对数增长时，无法可靠解决多跳任务。
• 主张在推进多跳任务的推理架构之前，应优先提升表征保真度。

提出的方法

• 定义两个相互关联的空间：一个隐藏的、无歧义的概念意义空间，以及一个表示语言表征不完美的噪声语言空间。
• 通过随机图过程建模语言噪声：语言图是意义图的随机扰动，其中真实边的概率为 $p_+$，虚假边的概率为 $p_-$。
• 将推理形式化为在语言图上进行推断，以确定意义图中连通性（路径存在性）。
• 使用谱图理论界定语言图与意义图邻接矩阵差的 $L_2$-范数，表明其随 $\tfrac{\text{\mathcal{B}(1)}}{\text{邻域大小}}$ 变化。
• 应用概率集中不等式（如引理 28）表明，当 $n$ 增大时，$\tfrac{\text{误差}}{\text{信号}}$ 可任意趋近于零，意味着无法可靠区分正确与错误路径。
• 通过将指示函数分解为连续的利普希茨函数并进行阈值化，形式化推理在噪声下的鲁棒性。

实验结果

研究问题

• RQ1 语言不完美性——歧义性、不准确性、不完整性——在多大程度上会破坏自然语言理解中的多跳推理？
• RQ2 在具有大量跳数的概念图中，基于噪声语言表征运行的推理系统能否可靠解决连通性问题？
• RQ3 当所需推理步骤数随图大小对数增长时，推理准确性的理论极限是什么？
• RQ4 随着跳数增加，语言表征中的信噪比如何退化？
• RQ5 当语言图是意义图的随机扰动时，是否可能实现正确的推理结果，尤其是在长路径情况下？

主要发现

• 在意义图中，当跳数达到中等规模（对数规模）时，任何在噪声语言图上运行的推理系统都无法可靠回答查询，这是由于信号退化所致。
• 邻接矩阵差中误差与信号之比的上界为 $\frac{\lambda\mathcal{B}(1)}{\sqrt{2\lambda n\log(\lambda n)}}$，当 $n$ 增大时趋于零，表明存在根本不可靠性。
• 即使 $\tilde{d} \in \Omega(\log(\lambda n))$，语言图中的 $\tilde{d}$-邻域几乎必然覆盖整个图，但连通性推断仍因噪声而失败。
• 该框架证明，当底层集合非开非闭时，指示函数（如路径存在性）无法通过连续利普希茨函数实现稳健近似，揭示了拓扑障碍。
• 实证结果表明，高 $p_-$（噪声率）仅在低噪声水平下导致语言图与意义图距离之间出现强相关性，证实了理论上的信噪比崩溃。
• 本研究确立了提升表征保真度——例如通过知识接地或上下文嵌入——是投资于多跳推理系统之前不可或缺的前提。