[论文解读] Sex Trafficking Detection with Ordinal Regression Neural Networks

Longshaokan Wang, Eric B. Laber+2 more|arXiv (Cornell University)|Aug 15, 2019

Sex work and related issues参考文献 34被引用 10

一句话总结

本文提出了一种序回归神经网络（ORNN），通过利用词嵌入和t-SNE扩展性交易词典，提升了在援交广告中检测性贩卖的能力，在Trafficking-10K数据集上通过修改的损失函数实现了最先进性能，该损失函数减少了单调性违反并增强了预测的可解释性。

ABSTRACT

Sex trafficking is a global epidemic. Escort websites are a primary vehicle for selling the services of such trafficking victims and thus a major driver of trafficker revenue. Many law enforcement agencies do not have the resources to manually identify leads from the millions of escort ads posted across dozens of public websites. We propose an ordinal regression neural network to identify escort ads that are likely linked to sex trafficking. Our model uses a modified cost function to mitigate inconsistencies in predictions often associated with nonparametric ordinal regression and leverages recent advancements in deep learning to improve prediction accuracy. The proposed method significantly improves on the previous state-of-the-art on Trafficking-10K, an expert-annotated dataset of escort ads. Additionally, because traffickers use acronyms, deliberate typographical errors, and emojis to replace explicit keywords, we demonstrate how to expand the lexicon of trafficking flags through word embeddings and t-SNE.

研究动机与目标

• 开发一种可扩展、高精度的方法，从数百万条在线广告中识别与性贩卖相关的援交广告。
• 通过修改的损失函数解决非参数序回归中预测不一致的问题。
• 利用无监督词嵌入和t-SNE扩展性贩卖指标词典，包括表情符号、缩写词和拼写错误。
• 通过分析排名靠前的可疑广告，为反贩卖专家提供可操作的见解。
• 开源模型与代码，以支持执法机构和未来研究。

提出的方法

• 该模型使用在援交广告文本上训练的跳字模型词嵌入，将词语转换为密集向量表示。
• 门控反馈循环神经网络（GF-RNN）按顺序处理词向量，捕捉文本中的上下文依赖关系。
• 序回归层采用修改的损失函数，强制预测结果保持单调性，减少非参数序回归中常见的不一致问题。
• 损失函数包含惩罚项，以防止单调性违反，从而在不增加高计算成本的前提下提升可解释性。
• 应用t-SNE可视化学习到的表情符号嵌入，揭示语义聚类，提示可能的新性贩卖相关关键词。
• 使用批量归一化、dropout和残差连接等正则化技术，以提升模型泛化能力和训练稳定性。

实验结果

研究问题

• RQ1 与先前模型相比，具有序回归输出的深度神经网络是否能显著提升在援交广告中检测性贩卖的准确率？
• RQ2 如何通过修改的损失函数减少非参数序回归在文本分类中出现的单调性违反？
• RQ3 在原始文本数据上进行无监督学习（如词嵌入和t-SNE）在多大程度上能揭示新的性贩卖相关关键词，包括表情符号和隐晦语言？
• RQ4 排名靠前的广告中存在哪些模式，可帮助反贩卖专家验证或优化检测规则？
• RQ5 该模型架构能否通过结合文本与图像数据的多模态设置进行扩展，以进一步提升检测性能？

主要发现

• 所提出的ORNN在Trafficking-10K数据集上实现了最先进性能，显著优于先前模型，包括Human Trafficking Deep Network。
• 修改的损失函数有效缓解了序预测中的单调性违反问题，提升了模型可解释性，且计算成本可控。
• 表情符号嵌入的t-SNE可视化揭示了语义聚类——如心形、花朵和糖果表情符号靠近已知性贩卖指标，提示可能的新预警信号。
• 如瓷娃娃、葡萄和草莓等表情符号与已知标志（如樱桃、棒棒糖）聚集在一起，表明它们也可能暗示未成年受害者，应纳入更新后的词典。
• 模型的高分预测揭示了稳定的语言模式，如隐晦表达和故意拼写错误，反贩卖专家可据此优化检测规则。
• 作者已将训练好的模型与代码发布在GitLab，支持执法机构和研究人员复现与实际部署。