[论文解读] Neural model robustness for skill routing in large-scale conversational AI systems: A design choice exploration

Han Li, Sunghyun Park+6 more|arXiv (Cornell University)|Mar 4, 2021

Topic Modeling参考文献 17被引用 9

一句话总结

本文研究大规模对话式AI系统中技能路由的模型鲁棒性，重点关注模型部署后技能订阅的动态变化。结果表明，数据增强能显著提升对假设列表变更（尤其是插入）的鲁棒性，而Bi-LSTM架构在面对此类变化时性能下降，即使通过增强手段缓解也依然表现不佳。

ABSTRACT

Current state-of-the-art large-scale conversational AI or intelligent digital assistant systems in industry comprises a set of components such as Automatic Speech Recognition (ASR) and Natural Language Understanding (NLU). For some of these systems that leverage a shared NLU ontology (e.g., a centralized intent/slot schema), there exists a separate skill routing component to correctly route a request to an appropriate skill, which is either a first-party or third-party application that actually executes on a user request. The skill routing component is needed as there are thousands of skills that can either subscribe to the same intent and/or subscribe to an intent under specific contextual conditions (e.g., device has a screen). Ensuring model robustness or resilience in the skill routing component is an important problem since skills may dynamically change their subscription in the ontology after the skill routing model has been deployed to production. We show how different modeling design choices impact the model robustness in the context of skill routing on a state-of-the-art commercial conversational AI system, specifically on the choices around data augmentation, model architecture, and optimization method. We show that applying data augmentation can be a very effective and practical way to drastically improve model robustness.

研究动机与目标

• 解决模型部署后技能动态变更其对意图的订阅时，保持技能路由系统模型性能的挑战。
• 研究不同建模设计选择（数据增强、模型架构、优化方法）在假设列表动态变化下的鲁棒性影响。
• 评估假设移除与插入对模型性能的影响，以理解生产规模对话式AI系统中的实际鲁棒性。
• 识别最优设计选择，确保在大规模数字助理平台技能本体持续演化的背景下，模型性能保持一致。

提出的方法

• 在训练过程中应用数据增强技术，包括噪声注入和假设列表扰动，以模拟技能订阅的动态变化。
• 对比三种模型架构：Bi-LSTM、基于Transformer的注意力机制，以及一种简单的聚合模型，用于编码列表级别的交叉假设上下文信息。
• 评估两种优化方法：二元交叉熵（BCE）与基于边距的交叉熵（MCE），采用离线与在线评估协议。
• 通过控制微基准测试，改变假设移除与插入的比例，以隔离列表动态对模型鲁棒性的影响。
• 在保留的测试集上进行离线评估，并在模拟生产环境、假设列表动态变化的条件下进行在线评估。
• 在动态条件下测量模型准确率以评估鲁棒性，比较不同设计选择下的性能下降情况。

实验结果

研究问题

• RQ1 当推理时候选技能列表（假设）发生变化时，数据增强如何影响模型在技能路由中的鲁棒性？
• RQ2 在假设列表动态变化下，Bi-LSTM、基于注意力机制和基于聚合的模型架构表现如何？
• RQ3 在动态技能订阅存在的情况下，哪种优化方法——BCE或MCE——能带来更好的鲁棒性？
• RQ4 在在线评估设置中，假设移除与插入对模型性能的相对影响是什么？
• RQ5 数据增强能否有效缓解技能路由候选列表动态变化导致的性能下降？

主要发现

• 数据增强将所有模型变体的在线准确率下降降至零，即使在插入10个新假设的情况下也能维持性能。
• 当插入10个新假设时，Bi-LSTM模型的准确率下降56.74%，表明其对列表顺序与长度变化高度敏感。
• 基于注意力的模型在在线评估中表现最佳，优于Bi-LSTM与基于聚合的模型，尤其在动态条件下。
• 在6种评估情形中的4种里，二元交叉熵（BCE）损失优于基于边距的交叉熵（MCE），表明BCE在该任务中具有更好的泛化能力。
• 即使离线准确率相近，Bi-LSTM模型的在线鲁棒性显著劣于基于注意力的模型，凸显其架构局限性。
• 应用数据增强后，所有模型的在线准确率均与离线性能相当，表明其对动态输入变化的泛化能力得到显著提升。