[论文解读] Spontaneous expression classification in the encrypted domain

Segun Aina, Yogachandran Rahulamathavan+2 more|arXiv (Cornell University)|Mar 14, 2014

Face and Expression Recognition参考文献 7被引用 5

一句话总结

本文提出了一种基于Paillier同态加密的Fisher线性判别分析（FLDA）与k近邻（kNN）结合的隐私保护系统，用于在加密域中对自发性面部表情进行分类。该方法可在不暴露原始数据或身份信息的情况下，实现对加密面部表情的远程分类，在NVIE自发性表情数据库上实现了高精度识别，代表了首个针对加密自发性表情分析的此类系统。

ABSTRACT

To date, most facial expression analysis have been based on posed image databases and is carried out without being able to protect the identity of the subjects whose expressions are being recognised. In this paper, we propose and implement a system for classifying facial expressions of images in the encrypted domain based on a Paillier cryptosystem implementation of Fisher Linear Discriminant Analysis and k-nearest neighbour (FLDA + kNN). We present results of experiments carried out on a recently developed natural visible and infrared facial expression (NVIE) database of spontaneous images. To the best of our knowledge, this is the first system that will allow the recog-nition of encrypted spontaneous facial expressions by a remote server on behalf of a client.

研究动机与目标

• 解决面部表情分析中缺乏隐私保护方法的问题，特别是针对自发性表情。
• 实现在不泄露敏感生物特征数据或个体身份信息的前提下，对面部表情进行远程分类。
• 开发一种安全的端到端系统，直接在加密图像上执行表情分类。
• 在真实世界的自发性表情数据集中，证明使用同态加密进行加密面部表情识别的可行性和准确性。

提出的方法

• 系统使用Paillier密码体制，实现对加密面部特征的同态计算。
• 将Fisher线性判别分析（FLDA）适配至加密域，从加密图像中提取判别性特征。
• 直接在加密特征向量上执行k近邻（kNN）分类，以对表情进行分类。
• 该方法处理来自NVIE数据库的图像，该数据库包含自发性可见光与红外面部表情。
• 所有计算——特征提取与分类——均在不解密的情况下完成，确保数据机密性。
• 实现确保仅最终分类结果被披露，而不暴露底层面部数据。

实验结果

研究问题

• RQ1 是否可以在不暴露原始数据的前提下，对加密的自发性面部图像实现准确的表情分类？
• RQ2 将同态加密应用于FLDA与kNN流程是否可行，以实现隐私保护的表情识别？
• RQ3 加密表情分类的性能与标准方法在自发性表情数据库上的表现相比如何？
• RQ4 远程服务器是否可以在保持完全数据机密性的前提下，代表客户端对表情进行分类？

主要发现

• 所提出的系统成功实现了在加密图像上直接进行自发性面部表情分类，采用同态加密技术。
• 该方法在NVIE数据库上实现了准确的分类结果，且未泄露任何关于原始面部图像的信息。
• 据作者所知，这是首个实现远程、隐私保护的自发性面部表情加密域分类的系统。
• 该实现表明，FLDA与kNN可有效适配至Paillier加密环境下，用于生物特征分类任务。