[论文解读] Optimal Sensor Placement and Enhanced Sparsity for Classification

Bingni W. Brunton, Steven L. Brunton+2 more|arXiv (Cornell University)|Oct 15, 2013

Sparse and Compressive Sensing Techniques参考文献 42被引用 16

一句话总结

本文提出了一种最优传感器部署框架，通过利用分类中的增强稀疏性，结合ℓ₁-最小化方法，识别出最少且最具信息量的传感器位置，以实现高精度分类。该方法从训练数据（完整图像或随机子采样）中学习传感器位置，在测量次数减少数个数量级的情况下，实现与全图像方法相当的分类性能。

ABSTRACT

The goal of compressive sensing is efficient reconstruction of data from few measurements, sometimes leading to a categorical decision. If only classification is required, reconstruction can be circumvented and the measurements needed are orders-of-magnitude sparser still. We define enhanced sparsity as the reduction in number of measurements required for classification over reconstruction. In this work, we exploit enhanced sparsity and learn spatial sensor locations that optimally inform a categorical decision. The algorithm solves an l1-minimization to find the fewest entries of the full measurement vector that exactly reconstruct the discriminant vector in feature space. Once the sensor locations have been identified from the training data, subsequent test samples are classified with remarkable efficiency, achieving performance comparable to that obtained by discrimination using the full image. Sensor locations may be learned from full images, or from a random subsample of pixels. For classification between more than two categories, we introduce a coupling parameter whose value tunes the number of sensors selected, trading accuracy for economy. We demonstrate the algorithm on example datasets from image recognition using PCA for feature extraction and LDA for discrimination; however, the method can be broadly applied to non-image data and adapted to work with other methods for feature extraction and discrimination.

研究动机与目标

• 通过利用增强稀疏性，减少分类所需的测量次数，其中分类所需测量远少于全信号重建所需测量。
• 开发一种方法，从主成分分析（PCA）和线性判别分析（LDA）导出的低维特征空间中，学习最优传感器位置，以最大化判别能力。
• 即使在使用子采样或不完整数据进行训练的情况下，也能仅通过少量精心布置的传感器实现高效分类。
• 将该方法推广至图像以外的场景，适用于包括生物、环境和基础设施监测系统在内的多样化传感器网络。
• 证明所学习的传感器位置会聚集在图像显著特征周围，形成一致且可解释的分类掩码。

提出的方法

• 使用主成分分析（PCA）从训练图像中提取低维特征空间，降低维度的同时保留方差。
• 在PCA降维后的空间中应用线性判别分析（LDA），构建一个能将类别在特征空间中分离的判别向量。
• 将ℓ₁-最小化问题公式化，以识别出在特征空间中能精确重构判别向量的最稀疏传感器位置集合（即像素索引）。
• 通过求解ℓ₁-正则化优化问题，找到能保持分类准确性的最小传感器位置集合，利用凸松弛法避免NP难的ℓ₀问题。
• 引入耦合参数λ以调节所选传感器数量，在多分类设置中实现分类精度与测量经济性的权衡。
• 在完整图像或随机子采样的像素上训练传感器位置，并使用学习到的传感器集合在测试数据上验证性能。

实验结果

研究问题

• RQ1 是否能以远少于信号重建所需的测量次数实现分类？若能，这种增强稀疏性由何机制支持？
• RQ2 如何最优地选择传感器位置，以在最小化测量次数的同时最大化分类准确性？
• RQ3 在不牺牲性能的前提下，传感器位置能在多大程度上从子采样或不完整数据中学习？
• RQ4 所学习的传感器位置与数据中的显著特征有何关联？能否被解释为有意义的空间掩码？
• RQ5 该框架能否推广至非图像数据，并应用于现实世界中的传感器网络，如流行病学或环境监测？

主要发现

• 所提方法仅使用少量精心布置的传感器，即可实现与全图像训练分类器相当的分类性能。
• 在图像识别任务中，该方法仅需数十个测量——远少于基于重建的压缩感知方法——显著体现了增强稀疏性。
• 从完整图像或像素随机子采样中学习到的传感器位置，优于同等数量的随机选择传感器，表明优化方法的价值。
• 所学习的传感器位置集合聚集在图像中连贯且具有判别性的特征周围，如面部轮廓或物体边缘，暗示其在生物和工程领域的相关性。
• 耦合参数λ实现了分类精度与测量成本之间的可调制权衡，适用于资源受限的应用场景。
• 该框架可推广至图像以外的数据类型：适用于任何使用降维与分类的场景，包括传感器网络、流行病学监测和基础设施监控。