[论文解读] OSVNet: Convolutional Siamese Network for Writer Independent Online Signature Verification

Chandra Sekhar, Prerana Mukherjee+2 more|arXiv (Cornell University)|Mar 30, 2019

Handwritten Text Recognition Techniques参考文献 27被引用 5

一句话总结

该论文提出OSVNet，一种基于深度卷积孪生网络的书写者无关在线签名验证框架，通过基于度量的损失函数学习判别性特征表示。通过最小化个体内部差异并最大化个体间差异，该模型在MCYT-100、MCYT-330和SVC-2004-Task2数据集上达到最先进性能，在MCYT-330数据集上达到92.7%的等错误率，并具备鲁棒的零样本学习能力。

ABSTRACT

Online signature verification (OSV) is one of the most challenging tasks in writer identification and digital forensics. Owing to the large intra-individual variability, there is a critical requirement to accurately learn the intra-personal variations of the signature to achieve higher classification accuracy. To achieve this, in this paper, we propose an OSV framework based on deep convolutional Siamese network (DCSN). DCSN automatically extracts robust feature descriptions based on metric-based loss function which decreases intra-writer variability (Genuine-Genuine) and increases inter-individual variability (Genuine-Forgery) and directs the DCSN for effective discriminative representation learning for online signatures and extend it for one shot learning framework. Comprehensive experimentation conducted on three widely accepted benchmark datasets MCYT-100 (DB1), MCYT-330 (DB2) and SVC-2004-Task2 demonstrate the capability of our framework to distinguish the genuine and forgery samples. Experimental results confirm the efficiency of deep convolutional Siamese network based OSV by achieving a lower error rate as compared to many recent and state-of-the art OSV techniques.

研究动机与目标

• 解决在线签名验证中高个体内部变异性的挑战。
• 在无需先前伪造样本的情况下，实现在线签名验证的零样本学习。
• 通过孪生结构中的共享权重，降低模型复杂度和过拟合风险。
• 通过最小化真实-真实相似度并最大化真实-伪造差异度，提升判别性特征学习能力。
• 在MCYT-100、MCYT-330和SVC-2004-Task2等多个基准数据集上评估该框架。

提出的方法

• 该框架使用具有共享权重的孪生卷积神经网络，同时处理两个输入签名。
• 采用基于度量的损失函数，促使相似签名（真实-真实）在特征空间中接近，而不同相似度的签名（真实-伪造）则远离。
• 从局部签名点（x, y, 压力, 方位角）中提取全局特征，如最大速度、平均压力和加速度标准差。
• 模型在签名对上端到端训练，学习相似度度量而非对单个签名进行分类。
• 在不同数量的训练用户下评估该架构，包括仅使用每位用户一个真实签名的零样本场景。
• 在三个基准数据集上测试该框架：MCYT-100（100名用户）、MCYT-330（330名用户）和SVC-2004-Task2（100名用户）。

实验结果

研究问题

• RQ1 基于孪生CNN的框架能否在最小化个体内部变异性的前提下，有效学习在线签名验证的判别性特征？
• RQ2 所提出的框架是否支持无需先前伪造样本的零样本学习？
• RQ3 该模型在具有不同训练样本数量的数据集上表现如何？
• RQ4 基于度量的损失函数是否能显著降低特征空间中的个体内部变异性并增强个体间差异？
• RQ5 在标准基准测试中，该模型与最先进方法相比，在等错误率和AUC方面表现如何？

主要发现

• 所提出的OSVNet在MCYT-330数据集上达到92.7%的等错误率，优于先前最先进模型。
• 在MCYT-100数据集上，模型达到78.6%的等错误率，超过Pei等人[21]报告的先前最佳结果81.6%。
• 该模型展现出强大的零样本学习能力，即使仅用单个用户的签名进行训练，也能达到峰值AUC值。
• 当在70名用户的数据上训练时，MCYT-100数据集上‘真实与伪造’组合的受试者工作特征曲线下面积（AUC）约为0.95。
• 该模型在SVC-2004-Task2数据集上保持了高性能，证实其在数据有限情况下的有效性。
• 孪生结构由于双分支网络的共享权重，显著减少了模型参数数量并降低了过拟合风险。