[论文解读] ValiText -- a unified validation framework for computational text-based measures of social constructs

Lukas Birkenmaier, Claudia Wagner+1 more|arXiv (Cornell University)|Jul 6, 2023

Computational and Text Analysis Methods被引用 7

一句话总结

ValiText 是一个统一的验证框架，用于计算性文本测量社会建构的效度，其基础是社会科学研究效度理论与实证审查。它通过检查清单和文档表格，指导研究人员建立实质、结构和外部验证证据，从而提升从文本中测量抽象社会概念时的方法严谨性和一致性。

ABSTRACT

Guidance on how to validate computational text-based measures of social constructs is fragmented. While researchers generally acknowledge the importance of validating text-based measures, they often lack a shared vocabulary and a unified framework to do so. This paper introduces ValiText, a new validation framework designed to assist scholars in validly measuring social constructs in textual data. The framework is built on a conceptual foundation of validity in the social sciences, strengthened by an empirical review of validation practices in the social sciences and consultations with experts. Ultimately, ValiText prescribes researchers to demonstrate three types of validation evidence: substantive evidence (outlining the theoretical underpinning of the measure), structural evidence (examining the properties of the text model and its output) and external evidence (testing for how the measure relates to independent information). The framework is further supplemented by a checklist of validation steps, offering practical guidance in the form of documentation sheets that guide researchers in the validation process.

研究动机与目标

• 解决计算性文本测量社会建构中验证实践零散且不一致的问题。
• 为社会科学研究中的基于文本的测量提供共享术语和结构化方法。
• 通过整合社会科学中的效度理论与实证验证实践，加强方法严谨性。
• 通过标准化工具，支持研究人员系统化记录和论证其验证过程。
• 促进从文本数据测量抽象社会建构时的透明度、可重现性和可辩护性。

提出的方法

• 该框架基于社会科学中的三重效度模型：实质证据、结构证据和外部证据。
• 整合了对社会科学研究中验证实践的实证审查所得的见解。
• 通过专家咨询，确保方法上的严谨性和实际适用性。
• 引入标准化的验证步骤清单，指导研究人员完成验证过程的各个阶段。
• 提供文档表格，帮助研究人员系统地记录和论证验证决策。
• 该框架设计为可适应不同社会建构和文本分析方法。

实验结果

研究问题

• RQ1 研究人员如何系统性地验证计算性文本测量社会建构的方法，以确保方法严谨性？
• RQ2 在从文本中测量抽象社会建构时，应关注哪些核心效度组成部分——实质、结构和外部？
• RQ3 统一框架如何提升不同研究领域中验证实践的一致性和透明度？
• RQ4 哪些实用工具可支持研究人员在整个测量过程中系统化记录和论证验证证据？
• RQ5 如何设计验证框架，使其既具有理论基础，又对计算社会科学研究人员具有实际可操作性？

主要发现

• ValiText 提供了一个全面、理论基础扎实的框架，整合了基于文本测量的实质、结构和外部验证证据。
• 该框架通过实用的检查清单和文档表格得到支持，增强了验证过程的透明度和可重现性。
• 实证审查与专家咨询验证了该框架与既定社会科学研究验证原则的一致性。
• 该框架使研究人员能够系统化地论证其测量方法，减少随意的验证实践。
• 通过标准化验证步骤，ValiText 支持在计算文本分析应用中实现更具可辩护性和可比性的研究。
• 该框架设计为可扩展，并适用于多样化的社会建构和自然语言处理方法。