[论文解读] SigNet: Convolutional Siamese Network for Writer Independent Offline Signature Verification

Sounak Dey, Anjan Dutta+4 more|arXiv (Cornell University)|Jul 7, 2017

Handwritten Text Recognition Techniques参考文献 4被引用 178

一句话总结

SigNet 训练卷积型孪生网络，用于学习离线签名验证的作者无关嵌入，在多个基准数据集上实现的最先进结果。

ABSTRACT

Offline signature verification is one of the most challenging tasks in biometrics and document forensics. Unlike other verification problems, it needs to model minute but critical details between genuine and forged signatures, because a skilled falsification might often resembles the real signature with small deformation. This verification task is even harder in writer independent scenarios which is undeniably fiscal for realistic cases. In this paper, we model an offline writer independent signature verification task with a convolutional Siamese network. Siamese networks are twin networks with shared weights, which can be trained to learn a feature space where similar observations are placed in proximity. This is achieved by exposing the network to a pair of similar and dissimilar observations and minimizing the Euclidean distance between similar pairs while simultaneously maximizing it between dissimilar pairs. Experiments conducted on cross-domain datasets emphasize the capability of our network to model forgery in different languages (scripts) and handwriting styles. Moreover, our designed Siamese network, named SigNet, exceeds the state-of-the-art results on most of the benchmark signature datasets, which paves the way for further research in this direction.

研究动机与目标

• 在作者无关场景下推动鲁棒的离线签名验证。
• 提出一种孪生 CNN 架构，以学习一个判别性的签名嵌入。
• 使用对比损失将真实对拉近、将伪造拉远。
• 在多个人公数据集上进行评估，以展示跨域泛化能力和数据集特定优势。

提出的方法

• 将签名图像预处理为大小 155x220，进行反转并归一化。
• 使用具有共享权重的双胞胎 CNN（SigNet）将签名嵌入到一个 128 维的空间中。
• 用对比损失训练，以最小化相似对的距离并最大化不相似对的间隔。
• 采用受 Krizhevsky 等人启发的架构，使用 11x11、5x5、3x3 的卷积核和 dropout。
• 通过相等数量的相似对（真实、真实）和不相似对（真实、伪造）来平衡训练数据。
• 使用距离阈值来区分相似与不相似对，并报告跨阈值的最大准确率。

实验结果

研究问题

• RQ1 作者无关的孪生 CNN 能否在多种书写系统和作者之间学习到鲁棒的签名嵌入？
• RQ2 在标准离线签名数据集上，SigNet 是否优于现有方法？
• RQ3 模型在跨数据集和跨书写系统场景下的泛化能力如何？

主要发现

• SigNet 在包括 CEDAR、GPDS Synthetic 与 Bengali 数据集在内的若干基准上达到最先进的准确率。
• 在 GPDS-300 上，SigNet 的表现落后于某些方法，表明数据集特定的风格多样性影响训练。
• 跨数据集的实验表明，当模型在同一数据集上训练时精度最高，但预训练模型为数据有限的情况提供了稳健的起点。
• 根据报道结果，SigNet 在 GPDS Synthetic、Bengali 和 CEDAR 数据集上超过了先前的方法。
• 非熟练的伪造训练相比于真实-伪造训练会降低性能，突显需要熟练的伪造样本来捕捉微妙的伪造。