[论文解读] Toward Transdisciplinary Approaches to Audio Deepfake Discernment

Vandana P. Janeja, Christine Mallinson|arXiv (Cornell University)|Nov 8, 2024

Diverse Musicological Studies被引用 11

一句话总结

论文主张将语言学与人工智能结合，通过专家参与环路与跨学科方法来提升音频深度伪造检测。

ABSTRACT

This perspective calls for scholars across disciplines to address the challenge of audio deepfake detection and discernment through an interdisciplinary lens across Artificial Intelligence methods and linguistics. With an avalanche of tools for the generation of realistic-sounding fake speech on one side, the detection of deepfakes is lagging on the other. Particularly hindering audio deepfake detection is the fact that current AI models lack a full understanding of the inherent variability of language and the complexities and uniqueness of human speech. We see the promising potential in recent transdisciplinary work that incorporates linguistic knowledge into AI approaches to provide pathways for expert-in-the-loop and to move beyond expert agnostic AI-based methods for more robust and comprehensive deepfake detection.

研究动机与目标

• 促成跨学科响应，面向 AI 与语言学在音频深度伪造检测中的协同。
• 指出当前 AI 模型在捕捉语言变异性和人类语音的复杂性方面的局限性。
• 主张将语言学知识融入 AI，以实现专家参与环路检测。

提出的方法

• 提出将 AI 方法与语言学联系起来的跨学科视角，用于音频深度伪造识别。
• 倡导利用语言学知识，超越对专家不依赖的 AI 方法。
• 提出将人类专业知识整合到基于 AI 的检测系统的途径。

实验结果

研究问题

• RQ1 AI 与语言学之间的跨学科协作如何提升音频深度伪造辨识？
• RQ2 可以将哪些语言学洞见融入 AI 模型，以提升对合成语音变异性的鲁棒性？
• RQ3 音频深度伪造检测中专家参与环路设计有哪些有效途径？

主要发现

• 认为当前 AI 模型对语言变异性和人类语音的复杂性理解不足。
• 强调将语言学知识融入 AI 以提升检测鲁棒性的潜力。
• 指出跨学科工作对于实现专家参与环路方法、并超越对专家不依赖的 AI 方法具有前景。