[论文解读] Robust Natural Language Processing - Combining Reasoning, Cognitive Semantics and Construction Grammar for Spatial Language

Michael Spranger, Jakob Suchan+1 more|arXiv (Cornell University)|Jul 20, 2016

Constraint Satisfaction and Optimization参考文献 22被引用 6

一句话总结

本文提出了一套针对机器人领域空间语言的鲁棒自然语言处理系统，通过整合定性空间推理、认知语义学与建构语法，即使在视觉感知误差、语言省略及语法偏差的情况下，也能生成并理解动态空间描述。该系统在显著的视觉与语言扰动下仍保持高成功率（某些条件下高达89%），表明鲁棒性源于推理、语义与语法组件的协同整合。

ABSTRACT

We present a system for generating and understanding of dynamic and static spatial relations in robotic interaction setups. Robots describe an environment of moving blocks using English phrases that include spatial relations such as "across" and "in front of". We evaluate the system in robot-robot interactions and show that the system can robustly deal with visual perception errors, language omissions and ungrammatical utterances.

研究动机与目标

• 开发一个完全集成的系统，使机器人能够生成并理解涉及运动的动态空间场景的自然语言描述。
• 确保对视觉感知错误（如物体追踪缺失或错位）和语言错误（包括省略与不合语法的表达）具有鲁棒性。
• 在真实场景的视觉与语言噪声条件下评估系统性能，尤其关注机器人-机器人交互场景。
• 研究形式化推理、认知语义学与建构语法的整合如何提升系统对扰动的抗性。

提出的方法

• 系统使用定性空间推理器从噪声连续视觉数据中提取稳定的时空关系，实现在帧缺失情况下的时间推理。
• 认知语义学基于感知显著性，选择运动事件的显著定性特征（如起点、终点、路径）以指导语言描述。
• 建构语法框架建模英语空间短语（如“across”、“in front of”），实现对句法变异（如词序变化或缺词）的鲁棒解析与生成。
• 系统以流水线方式集成感知、推理、语义与句法，各组件协同提升容错能力：感知提供输入，推理稳定关系，语义选择关注焦点，语法处理语言变体。
• 机器人通过共享坐标系与摄像头及本体感觉传感器实现物体追踪，以维持跨帧的时空连续性。
• 评估采用受控扰动：感知中丢帧、机器人间事件感知错位、语言表达操控（缺词、词序变化）。

实验结果

研究问题

• RQ1 机器人系统如何在存在遮挡与追踪漂移等视觉感知错误时，仍能鲁棒地解释与生成空间语言？
• RQ2 当语言输入不完整、不合语法或句法混乱时，系统在多大程度上仍能维持沟通成功？
• RQ3 整合定性空间推理、认知语义学与建构语法在多大程度上提升了系统对感知与语言扰动的抗性？
• RQ4 在感知错位场景下，对未观测事件的推理对系统性能有何影响？

主要发现

• 即使25%的视觉帧被丢弃，系统仍保持高成功率（CM最高达89.96%，PU为87.60%），且在帧丢失超过50%后性能仅缓慢下降。
• 当75%的帧被丢弃时，性能降至78.15%（SUCC），表明系统具备渐进式退化特性，且推理系统有助于在数据缺失时稳定关系。
• 在感知错位场景中，对下一可能事件的推理（wr）使成功率从70%提升至79%，表明推理可补偿不完整感知。
• 在词序置换情况下，成功率仍保持在70–83%之间，即使三个词被置换，表明系统具有强健的解析能力。
• 当词语缺失时，成功率提升至89%（d=1时缺失一个词），表明系统能从部分输入中重构合理语义。
• 与缺词相比，词序操控导致性能下降更快，OL（整体语言）在三个词被置换时降至60%，表明系统对句法破坏更敏感。