[论文解读] Tri-Subject Kinship Verification: Understanding the Core of A Family

Xiaoqian Qin, Xiaoyang Tan+1 more|arXiv (Cornell University)|Jan 12, 2015

Face recognition and analysis参考文献 23被引用 10

一句话总结

本文提出了一种新颖的三主体亲缘关系验证框架，通过相对对称双线性模型（RSBM）和空间投票特征选择，建模孩子与两位父母之间的关系。该方法在多个基准数据集上实现了最先进性能，包括一个新发布的包含1,000多个家庭三元组的数据集，在同时拥有两位父母图像时，显著优于以往的一对一双主体方法。

ABSTRACT

One major challenge in computer vision is to go beyond the modeling of individual objects and to investigate the bi- (one-versus-one) or tri- (one-versus-two) relationship among multiple visual entities, answering such questions as whether a child in a photo belongs to given parents. The child-parents relationship plays a core role in a family and understanding such kin relationship would have fundamental impact on the behavior of an artificial intelligent agent working in the human world. In this work, we tackle the problem of one-versus-two (tri-subject) kinship verification and our contributions are three folds: 1) a novel relative symmetric bilinear model (RSBM) introduced to model the similarity between the child and the parents, by incorporating the prior knowledge that a child may resemble a particular parent more than the other; 2) a spatially voted method for feature selection, which jointly selects the most discriminative features for the child-parents pair, while taking local spatial information into account; 3) a large scale tri-subject kinship database characterized by over 1,000 child-parents families. Extensive experiments on KinFaceW, Family101 and our newly released kinship database show that the proposed method outperforms several previous state of the art methods, while could also be used to significantly boost the performance of one-versus-one kinship verification when the information about both parents are available.

研究动机与目标

• 为解决尚未被充分探索的三主体（一对两）亲缘关系验证问题，即同时评估孩子与两位父母的关系。
• 比一对一双主体方法更有效地建模孩子与两位父母之间的遗传与视觉依赖关系。
• 开发一种联合识别判别性特征并保留局部空间结构的特征选择方法。
• 构建一个大规模、高质量的三主体亲缘关系数据库，以支持严谨的评估。
• 证明在亲缘关系验证中，同时引入两位父母的图像可显著提升性能，超越仅使用单亲的方法。

提出的方法

• 提出一种相对对称双线性模型（RSBM），用于捕捉孩子与每位父母之间的相对相似性，同时融入孩子可能在遗传上更偏向某一位父母的先验知识。
• 利用从数据中学习到的类似协方差的矩阵，以双线性方式建模孩子与父母组合之间的相似性。
• 提出一种空间投票特征选择方法，根据其在空间区域上的判别能力选择特征，从而提升鲁棒性与相关性。
• 在决策层融合多种特征（SIFT、C-SVDD、TPLBP）以增强性能，其中M-NUAA变体取得了最佳结果。
• 采用双线性相似性函数，显式建模孩子与父母特征之间的交互作用，捕捉联合依赖关系。
• 将该框架适配至现有的一对一双主体亲缘关系方法中，实现在同时拥有两位父母图像时性能提升。

实验结果

研究问题

• RQ1 与标准的一对一双主体方法相比，建模孩子与每位父母之间的相对相似性是否能提升亲缘关系验证的准确性？
• RQ2 如何联合选择空间局部化的特征，以在三主体亲缘关系验证中最大化判别能力？
• RQ3 与仅使用一位父母相比，同时引入两位父母的信息是否能显著提升验证性能？
• RQ4 能否设计一种统一框架，将现有的一对一双主体方法扩展至三主体验证，并提升鲁棒性？
• RQ5 关于遗传相似性的先验知识对亲缘关系验证系统性能有何影响？

主要发现

• 所提出的M-NUAA方法在KinFaceW-I数据集上实现了86.74%的平均准确率，在仅使用SIFT特征的方法中排名第三。
• 在多特征融合（SIFT、C-SVDD、TPLBP）下，M-NUAA方法在KinFaceW-II数据集上实现了86.45%的平均准确率，超越了所有先前的最先进方法。
• RSBM模型有效整合了关于相对相似性的先验知识，在三主体验证中提升了鲁棒性与准确性。
• 空间投票特征选择方法优于传统基于组的方法（如组Lasso），因其更好地保留了局部空间上下文。
• 当同时提供两位父母的图像时，该框架显著提升了原有的一对一双主体亲缘关系验证性能，证明了其实际应用价值。
• 新发布的包含1,000多个家庭的亲缘关系数据库为未来三主体亲缘关系验证研究提供了宝贵的基准。