[论文解读] Simple Classification using Binary Data

Deanna Needell, Rayan Saab+1 more|arXiv (Cornell University)|Jul 6, 2017

Sparse and Compressive Sensing TechniquesEngineering参考文献 31被引用 18

一句话总结

本文提出了一种低复杂度框架，仅使用二值（1比特）测量对数据进行分类，通过高斯矩阵 A 实现随机投影以将数据编码为符号模式。该方法在双类、二维设置下展示了具有理论保证的高分类效果，特别是对正确分类概率的理论保证，为高效、硬件友好的学习系统奠定了基础。

ABSTRACT

Binary, or one-bit, representations of data arise naturally in many applications, and are appealing in both hardware implementations and algorithm design. In this work, we study the problem of data classification from binary data and propose a framework with low computation and resource costs. We illustrate the utility of the proposed approach through stylized and realistic numerical experiments, and provide a theoretical analysis for a simple case. We hope that our framework and analysis will serve as a foundation for studying similar types of approaches.

研究动机与目标

• 开发一种仅基于数据二值表示的分类框架，以降低计算和硬件资源需求。
• 证明仅使用随机线性投影的符号信息，即使在高度量化设置下，也能实现有效分类。
• 提供一种数学上可处理的方法，可进行理论分析并推广至更复杂的学习问题。
• 在温和假设下建立分类准确率的理论边界，特别是在低维双类场景中。

提出的方法

• 该方法使用具有独立同分布标准高斯分布条目的随机矩阵 A，将高维数据投影至低维空间。
• 通过在投影数据上应用符号算子获得二值测量，得到 Q = sign(AX)，该结果编码了每个数据点位于哪些超平面的哪一侧。
• 提出一种两阶段分类方法：在标记的二值数据上进行训练以学习决策规则，随后对新二值数据进行推理。
• 分类规则基于在多个随机超平面上，新数据与训练数据的符号模式之间的一致性计数。
• 理论分析推导出在温和分布假设下，对二维双类问题的正确分类概率的下界。
• 在合成数据和真实世界数据集（包括手写数字和人脸识别任务）上对框架进行了数值验证。

实验结果

研究问题

• RQ1 是否可以仅使用数据的1比特测量而无需完整信号恢复，实现有效分类？
• RQ2 在使用随机投影和基于符号的测量时，分类准确率的理论保证是什么？
• RQ3 所提出方法的性能如何随随机投影数量和数据维度的变化而变化？
• RQ4 该框架能否扩展至多类问题以及真实世界应用（如数字和人脸识别）？
• RQ5 随机投影矩阵的结构对分类可靠性与鲁棒性有何影响？

主要发现

• 所提方法在合成数据和真实数据集（包括 MNIST 和人脸识别基准）上均实现了高分类准确率，且仅使用二值数据。
• 在二维双类情况下，本文推导出正确分类概率的非平凡下界，该下界依赖于数据分布和随机投影数量。
• 理论分析表明，在温和假设下，分类误差概率随随机投影数量的增加呈指数衰减。
• 该框架计算效率高，仅需符号运算和计数，适用于低功耗和嵌入式硬件应用。
• 数值实验表明，即使投影数量较少，该方法仍表现良好，表明对低维测量具有鲁棒性。
• 在极端量化场景下，该方法优于基线方法，证明了1比特学习的可行性。