[论文解读] Sorting out typicality with the inverse moment matrix SOS polynomial

Jean B. Lasserre, Edouard Pauwels|arXiv (Cornell University)|Jun 13, 2016

Optical Network Technologies参考文献 12被引用 31

一句话总结

该论文提出一种基于经验矩矩阵逆矩阵的平方和（SOS）多项式，用于捕捉数据点云的全局形状。该方法采用计算高效、适合在线处理的策略，在KDD Cup 99网络入侵检测数据集上实现了与最先进方法相当的异常检测性能，其中多项式的次数作为可调的复杂度参数。

ABSTRACT

We study a surprising phenomenon related to the representation of a cloud of data points using polynomials. We start with the previously unnoticed empirical observation that, given a collection (a cloud) of data points, the sublevel sets of a certain distinguished polynomial capture the shape of the cloud very accurately. This distinguished polynomial is a sum-of-squares (SOS) derived in a simple manner from the inverse of the empirical moment matrix. In fact, this SOS polynomial is directly related to orthogonal polynomials and the Christoffel function. This allows to generalize and interpret extremality properties of orthogonal polynomials and to provide a mathematical rationale for the observed phenomenon. Among diverse potential applications, we illustrate the relevance of our results on a network intrusion detection task for which we obtain performances similar to existing dedicated methods reported in the literature.

研究动机与目标

• 解释一种此前未被注意到的实证现象：特定SOS多项式的下水平集能准确捕捉数据点云的形状。
• 通过与正交多项式及Christoffel函数的联系，为该现象提供数学基础。
• 开发一种计算高效的高维数据形状表示与异常检测方法。
• 在真实世界数据上展示该方法的有效性，特别是在网络入侵检测中的应用。
• 确立基于逆矩矩阵的SOS多项式为一种新型、内在且仿射不变的数据几何表征。

提出的方法

• 该方法构建一个平方和（SOS）多项式，其Gram矩阵为从数据中计算出的经验矩矩阵的逆矩阵。
• 多项式的次数由用户指定，对应于所考虑的矩的数量，次数越高，能捕捉的形状越复杂。
• 在每个数据点上评估该多项式，生成一个偏离度评分，数值越高表示与数据点云典型区域的偏离程度越大。
• 该方法通过Woodbury更新实现在线计算，且评估成本不依赖于数据规模，与核方法或近邻方法不同。
• 该方法利用与正交多项式及Christoffel函数的理论联系，为其实证成功提供依据。
• 次数参数 $ d $ 作为可调的复杂度控制，平衡对多样化异常模式的敏感性。

实验结果

研究问题

• RQ1 为何基于逆矩矩阵的SOS多项式的下水平集能准确反映数据点云的全局形状？
• RQ2 该特定SOS多项式实现形状捕捉的实证现象有何数学依据？
• RQ3 多项式的次数 $ d $ 如何影响异常检测任务中的检测性能？
• RQ4 该方法能否在真实世界异常检测中达到与专用最先进技术相当的性能？
• RQ5 基于逆矩矩阵的SOS多项式具有哪些内在几何与统计特性？

主要发现

• 在KDD Cup 99数据集上，该方法的异常检测性能与现有方法相当或更优，尤其在'others'和'ftp'流量类别中表现突出。
• 对于'others'数据集，随着 $ d $ 增大，AUPR（精确率-召回率曲线下方面积）先上升至峰值后趋于稳定或下降，表明存在一个最优的复杂度程度。
• 当 $ d = 1 $ 时，对应马氏距离，性能较差，证实高阶多项式对捕捉复杂数据结构至关重要。
• 该多项式的下水平集能有效包围数据点云，即使在非椭圆或非高斯配置下亦然，如图3与附录A所示。
• 该方法具有仿射不变性，表明其捕捉的是数据点云的内在几何特性，而非坐标系带来的伪影。
• 理论分析证实，该多项式是正多项式集合上凸优化问题的唯一最小化解，为其行为提供了严谨的理论依据。