[论文解读] Reasoning about Procedures with Natural Language Processing: A Tutorial

Li Zhang|arXiv (Cornell University)|May 16, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本教程全面概述了自然语言处理（NLP）领域在程序理解方面的研究，聚焦于如何利用人工标注和网络提取数据，收集、表示并推理程序——即目标导向步骤序列——的方法。它强调了在程序表示、学习及现实世界应用方面的进展，尤其通过目标、步骤和时间依赖关系的结构化建模，从食谱和说明数据集中提炼出关键洞见，这些洞见可推广至更广泛的程序推理任务。

ABSTRACT

This tutorial provides a comprehensive and in-depth view of the research on procedures, primarily in Natural Language Processing. A procedure is a sequence of steps intended to achieve some goal. Understanding procedures in natural language has a long history, with recent breakthroughs made possible by advances in technology. First, we discuss established approaches to collect procedures, by human annotation or extraction from web resources. Then, we examine different angles from which procedures can be reasoned about, as well as ways to represent them. Finally, we enumerate scenarios where procedural knowledge can be applied to the real world.

研究动机与目标

• 提供NLP在程序理解研究方面的系统性综述，强调在推理目标导向步骤序列时所面临的独特挑战与机遇。
• 考察通过人工标注和网络规模提取收集程序数据的方法，以及这些方法如何实现程序知识研究的可扩展性。
• 研究利用结构化知识图谱、分层动作分解以及不同程序文本间等效动作对齐的方法，对程序进行表示。
• 探索程序知识在现实世界系统中的实际应用，如虚拟助手、推荐引擎和自动规划系统。
• 将程序与脚本、食谱等类似概念进行比较，明确其差异，并厘清基于食谱研究的发现能在多大程度上推广至更广泛的程序推理任务。

提出的方法

• 利用人工标注和网络提取的数据集收集程序文本，包括食谱、操作指南和教学视频。
• 采用基于图的表示方法建模程序，其中节点代表实体（食材、工具、动作），边表示语义关系，如应用、子集或相等。
• 应用分层分解技术将高层次动作分解为子步骤，利用视频字幕的众包解释生成细粒度的程序描述。
• 采用填空式任务评估模型预测程序中缺失步骤的能力，从而实现在未见程序序列上的零样本或少样本泛化。
• 使用对齐方法识别不同程序文本中的等效动作（例如，同一道菜的两份食谱），依赖于教学语言的语言学和语义特征。
• 利用大语言模型和NLP工具分析程序事件中的时间、因果和条件依赖关系，尤其关注目标条件推理的语境。

实验结果

研究问题

• RQ1 如何利用网络资源和人工标注，实现程序知识的大规模有效收集？
• RQ2 在何种结构化、机器可处理的格式中，最有效地表示程序知识，以捕捉目标、步骤及其相互依赖关系？
• RQ3 针对食谱理解开发的方法，在多大程度上可推广至烹饪以外的更广泛程序推理任务？
• RQ4 程序中的时间与条件关系在多大程度上依赖于底层目标？模型如何学习这些目标条件依赖？
• RQ5 在建模多智能体、复杂或易出错的程序时，主要挑战是什么？NLP系统如何应对这些挑战？

主要发现

• 从2012年到2021年，关于‘事件’主题的NLP论文数量增长了三倍，反映出事件中心NLP研究兴趣的上升，其中程序因其目标导向结构而成为关键子领域。
• 程序推理可提升机器对意图和上下文的理解深度，例如，通过动作顺序和目标上下文区分‘进入’与‘离开’房屋的行为。
• 基于图的程序表示方法——将动作、工具和食材作为节点，关系作为边——能有效建模程序语义，并在不同领域间实现泛化。
• 如HowTo100M数据集所示，动作的分层分解可实现细粒度的程序建模，并提升程序预测任务中的零样本泛化能力。
• 许多面向食谱的NLP方法，如动作对齐和填空式预测，可迁移至非烹饪类程序，原因在于教学语言中存在共享的语言和结构模式。
• 尽管以食谱为中心的研究取得成功，但通用程序涉及更高的复杂性，如多智能体、多样化实体和条件逻辑，限制了直接迁移，凸显了构建更广泛程序建模框架的必要性。