[论文解读] Ternary Hashing
该论文提出了一种新型深度学习方法——三元哈希（Ternary Hashing），使用三元码（+1, 0, -1）替代二进制码，以减少近似最近邻搜索中的邻域模糊性。通过引入双阈值策略，并利用 Łukasiewicz 和 Kleene 逻辑建模三元汉明距离，该方法提高了正样本与负样本之间的期望距离，在 CIFAR-10、NUS-WIDE 和 ImageNet100 基准测试中实现了更高的检索准确率。
This paper proposes a novel ternary hash encoding for learning to hash methods, which provides a principled more efficient coding scheme with performances better than those of the state-of-the-art binary hashing counterparts. Two kinds of axiomatic ternary logic, Kleene logic and Łukasiewicz logic are adopted to calculate the Ternary Hamming Distance (THD) for both the learning/encoding and testing/querying phases. Our work demonstrates that, with an efficient implementation of ternary logic on standard binary machines, the proposed ternary hashing is compared favorably to the binary hashing methods with consistent improvements of retrieval mean average precision (mAP) ranging from 1\% to 5.9\% as shown in CIFAR10, NUS-WIDE and ImageNet100 datasets.
研究动机与目标
- 通过超越二元哈希，减少基于哈希的检索中的邻域模糊性。
- 提升汉明空间中正样本与负样本距离之间的分离度。
- 设计一种基于三元码的可微分、端到端可训练的哈希框架。
- 通过实证验证三元哈希相较于现有二元哈希方法的优越性。
- 提出一种基于三元汉明距离期望的新型目标函数，用于建模类间与类内相似性。
提出的方法
- 提出一种基于 Łukasiewicz 和 Kleene 逻辑的三元汉明距离（THD），用于建模 {+1, 0, -1} 中三元数之间的相似性。
- 通过三元码上的概率分布，定义两组样本之间的期望三元汉明距离。
- 引入一种双阈值搜索算法，以优化阈值，使类间期望距离最大化、类内期望距离最小化。
- 使用基于所有类别对之间三元汉明距离期望的可微分目标函数。
- 将该方法应用于深度神经网络，采用 SGD 和 Adam 优化器进行端到端训练。
- 采用概率框架，其中 P_T、P_U、P_F 分别表示将 +1、0、-1 分配给码字的概率。
实验结果
研究问题
- RQ1与二元哈希相比，三元哈希在检索任务中是否能减少邻域模糊性？
- RQ2正负样本之间的期望三元汉明距离与二元哈希相比有何差异？
- RQ3将实值输出映射为三元码的最优阈值配置是什么？
- RQ4使用三元码结合基于逻辑的距离度量是否能提升标准基准测试中的检索性能？
- RQ5基于三元汉明距离期望的所提目标函数如何影响模型收敛性和准确率？
主要发现
- 三元哈希通过增加正负样本之间期望汉明距离，减少了邻域模糊性，如图 3(b) 所示。
- 三元码中引入的 UNKNOWN 状态（0）减少了正负样本距离分布之间的重叠，提升了检索的可靠性。
- 所提方法在 CIFAR-10、NUS-WIDE 和 ImageNet100 上的检索性能优于六种现有的二元哈希基线方法。
- 双阈值搜索算法成功识别出使基于期望三元汉明距离的目标函数最大化的最优阈值。
- 在 Łukasiewicz 和 Kleene 逻辑模型下，期望三元汉明距离提供了比二元汉明距离更细致的相似性度量。
- 实证结果表明，经过适当阈值处理的三元码显著改变了汉明距离分布——正样本分布左移，负样本分布右移，从而减少了重叠。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。