[论文解读] Multipurpose Intelligent Process Automation via Conversational Assistant

Alena Moiseeva, Dietrich Trautmann+2 more|arXiv (Cornell University)|Jan 7, 2020

Topic Modeling参考文献 10被引用 5

一句话总结

本文提出了一种用于工业电子学习环境中智能流程自动化（IPA）的多功能对话助手，初始训练数据极少。通过利用用户交互自动收集结构化、部分标注的对话数据，该系统实现了对自然语言理解（NLU）组件的迁移学习——尽管监督信息有限，仍取得了优异性能，从而减少了人工工作量，并实现了可扩展、可适应的自动化。

ABSTRACT

Intelligent Process Automation (IPA) is an emerging technology with a primary goal to assist the knowledge worker by taking care of repetitive, routine and low-cognitive tasks. Conversational agents that can interact with users in a natural language are potential application for IPA systems. Such intelligent agents can assist the user by answering specific questions and executing routine tasks that are ordinarily performed in a natural language (i.e., customer support). In this work, we tackle a challenge of implementing an IPA conversational assistant in a real-world industrial setting with a lack of structured training data. Our proposed system brings two significant benefits: First, it reduces repetitive and time-consuming activities and, therefore, allows workers to focus on more intelligent processes. Second, by interacting with users, it augments the resources with structured and to some extent labeled training data. We showcase the usage of the latter by re-implementing several components of our system with Transfer Learning (TL) methods.

研究动机与目标

• 解决在无初始结构化训练数据的情况下，将对话系统部署于真实工业环境中的挑战。
• 通过自动化电子学习平台中常规的学生咨询，减少人工导师的重复性、耗时任务。
• 通过用户交互被动收集结构化、部分标注的对话数据，无需手动标注或更改现有工作流程。
• 证明在小规模收集的对话数据上，通过迁移学习微调预训练模型对NLU组件的可行性。
• 通过结合规则驱动与可训练组件的混合系统，提升生产环境中的鲁棒性与适应性。

提出的方法

• 在OMB+电子学习平台上部署基于规则的对话系统作为初始IPA助手，以处理常规学生咨询。
• 利用系统的交互日志，以最少的人工干预，提取并结构化用户查询与回复，形成对话数据集。
• 应用迁移学习技术，在收集到的部分标注对话数据上重新训练关键NLU组件——特别是下一步动作预测与命名实体识别。
• 在小规模、领域特定的对话数据上微调预训练NLP模型（如基于BERT的架构），以提升泛化能力与性能。
• 将训练好的组件集成到混合架构中，使规则驱动与可学习模块并行运行，并具备故障回退能力。
• 确保与现有企业工具及平台现有聊天界面的兼容性，以实现无缝部署与用户交互。

实验结果

研究问题

• RQ1 当部署时无任何结构化训练数据，能否在真实工业环境中有效部署IPA对话助手？
• RQ2 用户交互在多大程度上可被用于自动生成对话系统的结构化、部分标注的训练数据？
• RQ3 迁移学习方法在从真实用户交互中收集的小规模、领域特定对话数据集上表现如何？
• RQ4 可训练的NLU组件（如意图分类、命名实体识别）在鲁棒性与适应性方面是否能优于或补充基于规则的系统？
• RQ5 结合规则驱动与可学习组件的混合模型在提升生产环境中系统可靠性方面具有多大潜力？

主要发现

• 该系统成功减少了人工导师的重复性与耗时任务，使其能够专注于更复杂、数学要求更高的学生咨询。
• 用户交互被动生成了结构化、部分标注的对话数据，无需手动标注或改变对话流程。
• 迁移学习使NLU组件（下一步动作预测与命名实体识别）在小规模对话数据集上实现了有效微调，取得了合理性能。
• 重新实现的可训练组件泛化能力优于基于规则的模块，并在面对非预期对话模式时显示出减少错误预测的潜力。
• 结合规则驱动与可训练组件的混合模型提升了系统鲁棒性，并在预测失败时具备故障回退能力。
• 该方法证明，即使收集到的对话数据量有限，也足以训练出高效、可扩展的NLU组件，适用于IPA应用。