[论文解读] Transparency in Maintenance of Recruitment Chatbots

Kit Kuksenok, Nina Praß|arXiv (Cornell University)|May 9, 2019

AI in Service Interactions参考文献 5被引用 6

一句话总结

本文研究了在维护基于机器学习的招聘聊天机器人时面临的透明度挑战，识别出‘关键联系人’角色在连接开发者与招聘人员方面至关重要。尽管初始准确率高达70%，自动回复率达到70%，但要实现持续的透明度，仍需可操作的机器学习可解释性用户界面以及去中心化的数据维护策略。

ABSTRACT

We report on experiences with implementing conversational agents in the recruitment domain based on a machine learning (ML) system. Recruitment chatbots mediate communication between job-seekers and recruiters by exposing ML data to recruiter teams. Errors are difficult to understand, communicate, and resolve because they may span and combine UX, ML, and software issues. In an effort to improve organizational and technical transparency, we came to rely on a key contact role. Though effective for design and development, the centralization of this role poses challenges for transparency in sustained maintenance of this kind of ML-based mediating system.

研究动机与目标

• 解决在持续维护过程中，基于机器学习的招聘聊天机器人在组织和技术层面缺乏透明度的问题。
• 识别在开发者与招聘人员之间起中介作用的‘关键联系人’角色的信息需求和任务。
• 理解当前聊天机器人系统为何无法为非技术利益相关者提供错误估计与可解释性支持。
• 探索去中心化关键联系人角色的策略，以提升招聘聊天机器人中机器学习数据集的长期可维护性。
• 提出将分析与可视化工具集成到面向客户的用户界面中，以增强自然语言处理系统中机器学习的可理解性。

提出的方法

• 对两个大规模招聘聊天机器人项目进行了案例研究，使用逻辑回归方法，训练样本量为1.5K至5K个，准确率为70%。
• 在为期三个月的时间内，分别以12%和23%的用户查询率追踪了两个项目的聊天机器人使用情况。
• 在设计与交接阶段，使用共享文档（如电子表格、流程图和动画）以对齐各利益相关方。
• 由关键联系人角色使用基于Python的Jupyter笔记本进行数据质量分析与错误检测。
• 开发了一个仪表板，供招聘人员实时审查、批准或修正机器学习生成的回复。
• 探索了将CHI、InfoVis和VAST研究的成果整合，以适应聊天机器人用户界面中自然语言处理的机器学习可解释性技术。

实验结果

研究问题

• RQ1 招聘聊天机器人中的错误如何跨越用户体验、机器学习和软件各层？为何这些错误难以诊断与修复？
• RQ2 关键联系人角色在维护开发者与招聘人员之间透明度方面，承担了哪些信息需求与任务？
• RQ3 为何将关键联系人角色集中化会阻碍聊天机器人维护中的长期透明度与可扩展性？
• RQ4 如何增强现有聊天机器人平台，以支持非技术用户的可操作透明度？
• RQ5 面向客户的用户界面在提升机器学习可理解性以及去中心化维护责任方面，可发挥何种作用？

主要发现

• 聊天机器人使用逻辑回归和语言特定模型，在多类别FAQ分类任务中实现了70%的准确率。
• 70%的输入问题由系统自动回答而无需人工介入，表明模型初始性能较强。
• 在机器学习生成的回复中，60%的回复被招聘人员未经修改直接批准，表明对模型建议的被动认可。
• 尽管准确率较高，系统仍需持续的被动审查与手动数据质量检查，凸显对关键联系人角色的依赖。
• 关键联系人角色承担了关键的整合工作，将开发者的技术笔记本与招聘人员的实际数据需求相连接。
• 现有工具缺乏对机器学习错误估计与解释的原生支持，导致透明度在设计中常被事后考虑。