[论文解读] RSL19BD at DBDC4: Ensemble of Decision Tree-based and LSTM-based Models

Chih‐Hao Wang, Sosuke Kato+1 more|arXiv (Cornell University)|May 6, 2019

Topic Modeling参考文献 9被引用 7

一句话总结

本论文在DBDC4挑战赛中提出了一种集成模型，结合基于随机森林的决策树模型与基于LSTM的神经网络，用于对话中断检测。所提出的集成模型（Run 5）在英语数据上的均方误差（MSE）表现显著优于所有其他运行，在日语数据上也几乎优于所有其他运行，证明了通过概率分布预测与模型平均相结合，融合多样化架构的有效性。

ABSTRACT

RSL19BD (Waseda University Sakai Laboratory) participated in the Fourth Dialogue Breakdown Detection Challenge (DBDC4) and submitted five runs to both English and Japanese subtasks. In these runs, we utilise the Decision Tree-based model and the Long Short-Term Memory-based (LSTM-based) model following the approaches of RSL17BD and KTH in the Third Dialogue Breakdown Detection Challenge (DBDC3) respectively. The Decision Tree-based model follows the approach of RSL17BD but utilises RandomForestRegressor instead of ExtraTreesRegressor. In addition, instead of predicting the mean and the variance of the probability distribution of the three breakdown labels, it predicts the probability of each label directly. The LSTM-based model follows the approach of KTH with some changes in the architecture and utilises Convolutional Neural Network (CNN) to perform text feature extraction. In addition, instead of targeting the single breakdown label and minimising the categorical cross entropy loss, it targets the probability distribution of the three breakdown labels and minimises the mean squared error. Run 1 utilises a Decision Tree-based model; Run 2 utilises an LSTM-based model; Run 3 performs an ensemble of 5 LSTM-based models; Run 4 performs an ensemble of Run 1 and Run 2; Run 5 performs an ensemble of Run 1 and Run 3. Run 5 statistically significantly outperformed all other runs in terms of MSE (NB, PB, B) for the English data and all other runs except Run 4 in terms of MSE (NB, PB, B) for the Japanese data (alpha level = 0.05).

研究动机与目标

• 通过结合决策树模型与基于序列的模型的互补优势，提升对话中断检测性能。
• 解决同时预测单个中断标签与三个标签（NB、PB、B）完整概率分布的挑战。
• 通过跨多种模型类型与架构的集成学习，提升模型的鲁棒性与泛化能力。
• 探究不同模型架构与集成策略对多语言对话系统中MSE性能的影响。
• 识别集成预测中的失败案例，并为未来模型设计与训练策略的改进提供指导。

提出的方法

• 采用随机森林回归器（RandomForestRegressor）直接预测中断标签的概率分布（P(NB)、P(PB)、P(B)），而非预测均值与方差。
• 设计了一种结合卷积神经网络（CNNs）进行文本特征提取的LSTM模型，处理固定长度为20轮的对话序列。
• 对LSTM架构进行修改，使其预测中断标签的完整概率分布，损失函数采用均方误差（MSE）而非分类交叉熵。
• 实施了五个不同的运行：单模型（Run 1：随机森林，Run 2：LSTM）、集成模型（Run 3：5个LSTM模型，Run 4：RF + LSTM，Run 5：RF + 5个LSTM模型）。
• 采用简单的平均法进行集成预测，将各模型输出合并以生成最终的概率分布。
• 通过移除首个系统话语或最后一个用户话语，将对话长度固定为20轮，确保LSTM模型输入尺寸一致。

实验结果

研究问题

• RQ1 将基于树的模型与基于LSTM的模型结合，对对话中断检测性能有何影响？
• RQ2 使用MSE损失预测中断标签的完整概率分布，是否相比单标签分类能提升模型校准性？
• RQ3 集成多个LSTM模型并将其与基于树的模型结合，能否带来统计上显著的性能提升？
• RQ4 在哪些类型的对话话语中，集成模型表现最佳？其失败模式是什么？
• RQ5 标签置信度（如高P(NB)或P(B)）如何影响个体模型与集成模型之间的性能差距？

主要发现

• Run 5（随机森林模型与五个LSTM模型的集成）在英语测试数据上的MSE（NB、PB、B）实现了统计上显著的改进（p < 0.05）。
• 在日语数据上，Run 5的表现优于除Run 4外的所有运行，表明其在多语言场景下具有强大的泛化能力。
• 当个体模型（随机森林与LSTM）的MSE相近时，集成模型表现最佳，尤其在两者均准确时。
• 当真实标签概率分布均衡时（即max{P*(NB), P*(B)}较低），随机森林与LSTM模型之间的性能差距最小，表明集成模型在模糊情形下更具稳定性。
• 当话语被高置信度标记为NB或B时，个体模型的预测差异更大，表明高置信度情形下需要改进集成策略。
• 分析表明，集成模型在基模型预测一致时最为有效，强调了在集成设计中模型多样性与校准性的重要性。