[论文解读] On feature selection and evaluation of transportation mode prediction strategies

Mohammad Etemad, Amílcar Soares+1 more|arXiv (Cornell University)|Aug 9, 2018

Human Mobility and Location-Based Analysis参考文献 25被引用 4

一句话总结

本文提出了一种结合包装法与信息论方法的特征选择框架，以优化基于轨迹的交通方式预测。使用随机森林模型并结合前20个特征，其准确率分别达到69.5%（p=0.0431）优于 endo2016deep，以及88.5%（p=0.0796）优于 dabiri2018inferring，性能优于两者，同时确保了模型的可解释性与更低的计算成本。

ABSTRACT

Transportation modes prediction is a fundamental task for decision making in smart cities and traffic management systems. Traffic policies designed based on trajectory mining can save money and time for authorities and the public. It may reduce the fuel consumption and commute time and moreover, may provide more pleasant moments for residents and tourists. Since the number of features that may be used to predict a user transportation mode can be substantial, finding a subset of features that maximizes a performance measure is worth investigating. In this work, we explore wrapper and information retrieval methods to find the best subset of trajectory features. After finding the best classifier and the best feature subset, our results were compared with two related papers that applied deep learning methods and the results showed that our framework achieved better performance. Furthermore, two types of cross-validation approaches were investigated, and the performance results show that the random cross-validation method provides optimistic results.

研究动机与目标

• 通过特征选择技术，识别用于交通方式预测的最优轨迹特征子集。
• 比较多种分类器（包括随机森林和XGBoost）在轨迹数据上预测交通方式的性能表现。
• 从准确率与计算效率两方面，将所提出的框架与最先进深度学习模型（endo2016deep与dabiri2018inferring）进行评估比较。
• 研究交叉验证策略（特别是随机交叉验证与用户导向交叉验证）对模型评估可靠性的影响。
• 通过使用手工设计、人类可读的特征，而非端到端表示学习，确保模型的可解释性。

提出的方法

• 采用包装法（序列前向选择）与信息论方法（基于互信息）对轨迹特征进行排序与选择，以识别最相关的特征。
• 使用70个手工设计的轨迹特征，包括速度分位数（如$F_{p90}^{speed}$）、距离与加速度指标，以表征移动行为。
• 应用五折交叉验证与用户导向交叉验证，以评估模型泛化能力，确保每位用户仅出现在一个折中。
• 从包装法中选取前20个特征，并使用随机森林分类器（50个估计器）进行最终评估。
• 对性能与 endo2016deep 和 dabiri2018inferring 的基线模型进行单样本Wilcoxon符号秩检验，以实现统计比较。
• 测试阶段避免噪声去除，以防止数据泄露，确保性能估计的现实性。

实验结果

研究问题

• RQ1 哪种特征选择方法与分类器的组合在基于轨迹数据的交通方式预测中能实现最高准确率？
• RQ2 所提模型在准确率与计算成本方面，相较于最先进深度学习模型（endo2016deep 与 dabiri2018inferring）的表现如何？
• RQ3 不同的交叉验证策略（随机交叉验证与用户导向交叉验证）对交通方式预测模型评估有何影响？
• RQ4 哪些轨迹特征对交通方式最具预测力，且为何它们对噪声具有鲁棒性？
• RQ5 可解释的手工设计特征是否能在此任务中超越端到端学习的表示？

主要发现

• 随机森林分类器在所评估的分类器中准确率最高（69.5%），显著优于SVM，且与XGBoost性能相当。
• 包装法识别出$F_{p90}^{speed}$为最重要特征，因其基于分位数计算，对异常值具有鲁棒性。
• 所提模型在测试集上达到69.5%的准确率，显著高于 endo2016deep 的67.9%（p=0.0431），表现出更优性能。
• 在 dabiri2018inferring 基准测试中，模型准确率达到88.5%，优于其报告的84.8%（p=0.0796），尽管在p<0.05水平下未达统计显著性。
• 用户导向交叉验证提供了更现实且保守的性能估计，而随机交叉验证因用户间数据泄露导致结果过于乐观。
• 该框架为深度学习模型提供了更具可解释性与计算效率的替代方案，其手工设计特征更易于理解与验证。