[论文解读] Non-parametric Uni-modality Constraints for Deep Ordinal Classification

Soufiane Belharbi, Ismail Ben Ayed+2 more|arXiv (Cornell University)|Nov 25, 2019

Anomaly Detection Techniques and Applications参考文献 36被引用 4

一句话总结

本文提出了一种非参数化、不等式约束的深度学习框架，用于序数分类，通过在相邻标签之间施加 (c−1) 个成对约束，强制实现标签分布的单峰性，从而在无需参数假设的前提下实现灵活且可扩展的训练。通过扩展的障碍函数法，该方法在标签一致性和准确性方面优于基于惩罚项的方法及当前最先进模型，尤其在包含 70 个类别的大规模数据集 FGNET 上表现突出。

ABSTRACT

We propose a new constrained-optimization formulation for deep ordinal classification, in which uni-modality of the label distribution is enforced implicitly via a set of inequality constraints over all the pairs of adjacent labels. Based on (c-1) constraints for c labels, our model is non-parametric and, therefore, more flexible than the existing deep ordinal classification techniques. Unlike these, it does not restrict the learned representation to a single and specific parametric model (or penalty) imposed on all the labels. Therefore, it enables the training to explore larger spaces of solutions, while removing the need for ad hoc choices and scaling up to large numbers of labels. It can be used in conjunction with any standard classification loss and any deep architecture. To tackle the ensuing challenging optimization problem, we solve a sequence of unconstrained losses based on a powerful extension of the log-barrier method. This handles effectively competing constraints and accommodates standard SGD for deep networks, while avoiding computationally expensive Lagrangian dual steps and outperforming substantially penalty methods. Furthermore, we propose a new performance metric for ordinal classification, as a proxy to measure distribution uni-modality, referred to as the Sides Order Index (SOI). We report comprehensive evaluations and comparisons to state-of-the-art methods on benchmark public datasets for several ordinal classification tasks, showing the merits of our approach in terms of label consistency, classification accuracy and scalability. Importantly, enforcing label consistency with our model does not incur higher classification errors, unlike many existing ordinal classification methods. A public reproducible PyTorch implementation is provided. (https://github.com/sbelharbi/unimodal-prob-deep-oc-free-distribution)

研究动机与目标

• 解决标准深度序数分类中缺乏标签一致性的问题，即模型可能在交叉熵损失较低的情况下产生矛盾的预测。
• 克服现有参数化方法的局限性，这些方法对标签分布强加了刚性的单峰形式（如高斯或泊松分布），需要对敏感超参数进行精细调优。
• 提出一种灵活的非参数化公式，使模型能够在不将输出分布限制于特定参数族的前提下探索更广阔的解空间。
• 通过避免复杂且任务特定的参数假设，并减少对临时设计选择的依赖，实现对大量序数类别的可扩展性。
• 引入一种新的性能度量指标——Sides Order Index (SOI)，以定量评估预测标签分布的单峰性与一致性。

提出的方法

• 将序数分类建模为一个带约束的优化问题，通过在相邻标签对之间施加 (c−1) 个不等式约束，以强制实现预测后验分布的单峰性。
• 采用扩展的障碍函数法，将约束问题转化为一系列无约束子问题，从而在无需昂贵的对偶或投影步骤的情况下，支持标准 SGD 训练。
• 将约束框架与任意标准分类损失（如交叉熵）及任意深度神经网络架构相结合。
• 利用障碍函数法对竞争性约束的有效处理能力，确保收敛至可行且一致的解。
• 设计 Sides Order Index (SOI) 作为可微分的代理度量，以量化预测分布中单峰性的程度。
• 在 ICIAR、HCI、AFAD-Lite、AFAD-Full 和 FGNET 等基准数据集上应用该方法，通过 MAE 和 SOI 等多种指标评估性能。

实验结果

研究问题

• RQ1 非参数化、不等式约束的优化框架是否能在不为输出分布指定特定参数形式的前提下，提升深度序数分类中的标签一致性？
• RQ2 所提出的基于障碍函数的优化方法在约束满足度与训练效率方面，相较于基于惩罚项和拉格朗日对偶方法有何差异？
• RQ3 通过在相邻标签间施加约束以强制实现单峰性，在具有大量序数类别的数据集上，该方法在泛化能力与可扩展性方面能提升到何种程度？
• RQ4 所提出的 Sides Order Index (SOI) 是否可作为衡量序数分类中预测标签分布一致性的可靠、可微分代理指标？
• RQ5 与当前最先进方法相比，该方法是否在显著提升预测一致性的同时，保持或改善了分类精度（如 MAE）？

主要发现

• 所提出的 ELB（Extended Log-Barrier）方法在包含 70 个类别的 FGNET 数据集上达到最先进性能，平均绝对误差（MAE）为 4.27，优于 REN（4.53）和 MV（5.21）。
• 在 AFAD-Full 数据集上，ELB 的 MAE 达到 3.19，超过 Niu 等人（2016）报告的先前最先进水平 3.34，且仅使用 10 次随机运行，而基线方法使用了 100 次。
• 当与交叉熵损失结合时，ELB 在所有数据集（ICIAR、HCI、AFAD-Lite、FGNET）上均持续降低 MAE，表明约束施加显著提升了预测准确性。
• Sides Order Index (SOI) 度量有效捕捉了单峰性，ELB 的 SOI 值显著高于基线方法，表明其具有更强的标签一致性。
• 与基于惩罚项（PN）和拉格朗日对偶方法相比，障碍函数法在约束满足度方面表现更优，且与标准交叉熵训练相比计算开销极小。
• 该方法在大规模类别数量下表现出良好的可扩展性，如在 FGNET（70 个类别）上性能优异，而其他方法（如 PO）无法扩展或未被评估。