[论文解读] The Weight Function in the Subtree Kernel is Decisive

Romain Azaïs, Florian Ingels|arXiv (Cornell University)|Apr 10, 2019

Neural Networks and Applications参考文献 21被引用 5

一句话总结

本文表明子树核中的权重函数对分类性能具有决定性影响，提出了一种数据驱动的可学习权重函数，其性能优于固定的用户定义权重。通过在八个真实世界数据集上的理论分析与实证验证，作者证明通过优化权重以更重视内部树节点而非叶节点，可显著提升性能，尤其在小样本数据集上表现突出。

ABSTRACT

Tree data are ubiquitous because they model a large variety of situations, e.g., the architecture of plants, the secondary structure of RNA, or the hierarchy of XML files. Nevertheless, the analysis of these non-Euclidean data is difficult per se. In this paper, we focus on the subtree kernel that is a convolution kernel for tree data introduced by Vishwanathan and Smola in the early 2000's. More precisely, we investigate the influence of the weight function from a theoretical perspective and in real data applications. We establish on a 2-classes stochastic model that the performance of the subtree kernel is improved when the weight of leaves vanishes, which motivates the definition of a new weight function, learned from the data and not fixed by the user as usually done. To this end, we define a unified framework for computing the subtree kernel from ordered or unordered trees, that is particularly suitable for tuning parameters. We show through eight real data classification problems the great efficiency of our approach, in particular for small datasets, which also states the high importance of the weight function. Finally, a visualization tool of the significant features is derived.

研究动机与目标

• 研究子树核中权重函数对分类性能的理论与实证影响。
• 解决子树核中固定用户定义权重函数的局限性，后者常导致次优性能。
• 提出一个统一框架，用于在有序与无序树上计算子树核，以实现有效的参数调优。
• 提出一种从训练数据中学习的数据驱动权重函数，提升泛化能力，尤其在小样本数据集上。
• 提供一种可视化工具，用于识别对分类决策贡献最大的显著树特征。

提出的方法

• 提出一个统一框架，用于在有序与无序树上计算子树核，实现一致的参数调优。
• 引入一种在核训练过程中优化的可学习权重函数，替代固定的用户定义权重。
• 基于两分类随机模型，推导出当叶节点权重减小或设为零时，子树核性能提升的理论条件。
• 采用基于核的学习方法（如SVM）结合改进后的子树核，对树结构数据进行分类。
• 应用基于压缩的算法，通过利用树之间共享的子结构，高效计算核函数。
• 开发一种可视化工具，用于突出显示对分类决策贡献最大的显著子树或特征。

实验结果

研究问题

• RQ1 权重函数的选择如何影响子树核在树结构数据分类中的性能？
• RQ2 数据驱动的可学习权重函数是否能优于子树核中传统的固定权重函数？
• RQ3 在何种理论条件下，减小或设为零叶节点权重可带来性能提升？
• RQ4 所提出方法在多样化的真实世界数据集上，尤其是小样本数据集上，表现如何？
• RQ5 哪些树子结构最具判别性？能否有效进行可视化？

主要发现

• 理论分析表明，在两分类随机模型中，当叶节点权重减小时，子树核的性能得以提升。
• 在八个真实世界数据集上的实证结果表明，所学习的权重函数显著提高了分类准确率，尤其在小样本数据集上表现突出。
• 通过端到端优化权重函数，该方法实现了当前最优性能，优于标准的固定权重配置。
• 该框架支持有序与无序树，提升了在多样化树结构数据类型中的适用性。
• 可视化工具成功识别并突出显示了最具判别性的子树，增强了模型决策的可解释性。
• 由于采用压缩的DAG表示和优化的子结构匹配算法，核函数计算保持高效。