[论文解读] The Diversity of Argument-Making in the Wild: from Assumptions and Definitions to Causation and Anecdote in Reddit's "Change My View"

Robin W. Na, Simon DeDeo|arXiv (Cornell University)|May 16, 2022

Social Media and Politics被引用 4

一句话总结

本研究运用自然语言处理（NLP）分析 Reddit 论坛 r/CMV 中的论证模式，识别出六种不同的类型——演绎、归纳、因果性、定义、相关性和个人经验，揭示出个人经验和因果性论证在改变观点方面最为有效。研究提出一个双轴模型（'个人化–非个人化'、'具体–抽象'），可解释约 80% 的个体论证策略差异。

ABSTRACT

What kinds of arguments do people make, and what effect do they have on others? Normative constraints on argument-making are as old as philosophy itself, but little is known about the diversity of arguments made in practice. We use NLP tools to extract patterns of argument-making from the Reddit site "Change My View" (r/CMV). This reveals six distinct argument patterns: not just the familiar deductive and inductive forms, but also arguments about definitions, relevance, possibility and cause, and personal experience. Data from r/CMV also reveal differences in efficacy: personal experience and, to a lesser extent, arguments about causation and examples, are most likely to shift a person's view, while arguments about relevance are the least. Finally, our methods reveal a gradient of argument-making preferences among users: a two-axis model, of "personal--impersonal" and "concrete--abstract", can account for nearly 80% of the strategy variance between individuals.

研究动机与目标

• 识别并分类真实世界在线讨论中使用的多样化论证模式，突破传统演绎与归纳框架的局限。
• 研究不同论证类型在改变他人观点方面的有效性，特别是在 r/CMV 这类高保真、真诚交流的环境中。
• 基于个人化–非个人化与具体–抽象两个维度，构建个体论证策略差异的二维模型。
• 考察论证模式与点赞数及观点改变结果的相关性，揭示感知说服力与实际说服力之间的潜在错配。

提出的方法

• 应用无监督 NLP 技术，从 r/CMV 和 LessWrong 的 120 万条评论中提取共现的论证片段（例如，双词短语如 'entirely possible'）。
• 利用语义上下文建模，将论证片段与六种核心论证类型（演绎、归纳、因果性、定义、相关性、个人经验）关联。
• 计算每种论证类型相关的 'delta 奖励'（即点赞数和观点改变可能性的变化），并控制语义上下文因素。
• 采用多元回归分析论证模式与用户层面结果（点赞数、delta 评分）之间的关系，识别策略差异。
• 构建双轴模型（个人化–非个人化，具体–抽象），以解释个体论证策略差异，并通过方差分解进行验证。
• 在两个平台间进行对比：r/CMV（普通公众）与 LessWrong（理性主义社区），揭示论证有效性的偏好差异。

实验结果

研究问题

• RQ1 在真实世界的在线话语中，除经典演绎与归纳形式外，哪些是主导的、经验观察到的论证模式？
• RQ2 哪些论证类型在 r/CMV 中最能有效改变他人观点，以 'delta' 评分为衡量标准？
• RQ3 个体论证策略的差异如何与特定论证类型的使用相关联？这些差异能否通过两个维度进行建模？
• RQ4 点赞模式在多大程度上与实际观点改变结果一致？二者在何处出现背离？
• RQ5 一般公众论坛（r/CMV）与理性主义社区（LessWrong）在论证偏好与有效性方面有何不同？

主要发现

• 个人经验和因果性论证在改变观点方面最有效，其中个人经验的平均 delta 奖励最高（+0.36），覆盖多个主题。
• 关于相关性的论证最无效，平均 delta 奖励为 -0.21，表明其极少引发观点改变。
• 双轴模型（'个人化–非个人化' 与 '具体–抽象'）可解释个体论证策略偏好约 80% 的方差。
• 在 r/CMV 中，个人经验和因果性论证获得最高的点赞奖励；而在 LessWrong 中，个人轶事受到强烈偏好（'person-moral-bad' 主题的平均奖励为 +0.61），尽管归纳性论证被贬低。
• 归纳性和概率性论证比基线更可能触发 delta（观点改变），但并未获得显著更多的点赞，表明感知说服力与实际说服力之间存在脱节。
• LessWrong 明显排斥归纳性论证，对基于相关性的辩论容忍度更高，与 r/CMV 偏好具体、个人化和因果性推理的倾向形成鲜明对比。