[论文解读] Text Analysis in Adversarial Settings: Does Deception Leave a Stylistic Trace?

Tommi Gröndahl, N. Asokan|arXiv (Cornell University)|Feb 24, 2019

Authorship Attribution and Profiling被引用 10

一句话总结

本文研究欺骗性文本是否会在不同语义领域中留下与内容无关的一致性风格痕迹，认为此类痕迹在不同语义领域中不可靠。相反，本文主张文本相似性度量在检测欺骗性文本方面优于风格特征，并批评现有风格混淆技术未能在语义保真度与有效匿名性之间取得平衡，呼吁开发能避免剧烈语义变化的改进方法。

ABSTRACT

Textual deception constitutes a major problem for online security. Many studies have argued that deceptiveness leaves traces in writing style, which could be detected using text classification techniques. By conducting an extensive literature review of existing empirical work, we demonstrate that while certain linguistic features have been indicative of deception in certain corpora, they fail to generalize across divergent semantic domains. We suggest that deceptiveness as such leaves no content-invariant stylistic trace, and textual similarity measures provide superior means of classifying texts as potentially deceptive. Additionally, we discuss forms of deception beyond semantic content, focusing on hiding author identity by writing style obfuscation. Surveying the literature on both author identification and obfuscation techniques, we conclude that current style transformation methods fail to achieve reliable obfuscation while simultaneously ensuring semantic faithfulness to the original text. We propose that future work in style transformation should pay particular attention to disallowing semantically drastic changes.

研究动机与目标

• 评估欺骗性写作是否在不同语义领域中均留下与内容无关的稳定风格痕迹。
• 评估基于内容的相似性度量在检测欺骗性文本方面相较于风格特征的有效性。
• 研究自动风格混淆在保持语义意义的同时规避作者身份识别的可行性和局限性。
• 检验现有风格转换方法是否能可靠地在实现有效混淆的同时保持语义忠实度。
• 识别对抗性风格分析领域中的关键研究空白，特别是关于语义保留与混淆文本可检测性的问题。

提出的方法

• 对博客、电子邮件、论坛和社交媒体等多种文本类型中欺骗检测与风格分析的实证研究进行了全面文献综述。
• 评估了语言特征（如词汇多样性、词性分布、句法复杂度）作为欺骗指标在不同语义领域中的可推广性。
• 提出基于嵌入的或n-gram的余弦相似度等文本相似性度量方法，相较于风格特征，能更稳健且更具普适性地分类欺骗性文本。
• 回顾并分析了现有的自动风格混淆技术，包括基于规则的转换、重述和基于机器翻译的方法，重点关注其语义保真度与可检测性。
• 利用基于已知混淆模式（包括中间语言转换和基于重述的方法）训练的分类器，评估混淆文本的可检测性。
• 建议整合自动重述与文本简化研究的见解，以改进语义保持型风格混淆工具的设计。

实验结果

研究问题

• RQ1 欺骗性文本是否会在不同语义领域中留下与内容无关的风格痕迹？
• RQ2 基于内容的相似性度量是否能优于传统风格特征来检测欺骗性文本？
• RQ3 当前自动风格混淆技术在规避作者身份识别的同时，能在多大程度上保持语义意义？
• RQ4 基于已知混淆模式训练的分类器能否检测到混淆后的文本？这对隐私有何影响？
• RQ5 现有风格转换方法在平衡语义忠实度与有效混淆方面存在哪些关键局限？

主要发现

• 先前与欺骗相关联的语言特征（如词汇多样性、句法复杂度）在不同语义领域中不具备普适性，削弱了其作为通用欺骗指标的可靠性。
• 基于语义嵌入或n-gram比较的文本相似性度量方法，相较于风格特征，能更稳健且更具普适性地检测欺骗性内容。
• 当前自动风格混淆技术未能同时实现强语义保真度与有效混淆，多数方法导致语义上剧烈变化，或易被分类器检测。
• 即使混淆成功，使用基于已知混淆模式训练的分类器，仍可将混淆文本与原文区分开来，表明混淆本身可能留下可检测的痕迹。
• 综述中仅有一项研究在其混淆算法中引入了语义相似性度量，但即便如此，仍难以避免过度的语义改变，凸显了当前方法中的关键空白。
• 缺乏标准化基线，且依赖比较性用户研究而无客观评估指标，使得难以准确评估混淆技术的真实有效性。