[论文解读] RADIUS: Ranking, Distribution, and Significance - A Comprehensive Alignment Suite for Survey Simulation

Weronika Łajewska, Paul Missault+2 more|arXiv (Cornell University)|Mar 19, 2026

Survey Methodology and Nonresponse被引用 0

一句话总结

RADIUS 引入一个二维、带统计检验的对齐评估套件，用于评估基于 LLM 的调查模拟，聚焦排行榜及分布对齐的显著性检验，并提供开源工具。

ABSTRACT

Simulation of surveys using LLMs is emerging as a powerful application for generating human-like responses at scale. Prior work evaluates survey simulation using metrics borrowed from other domains, which are often ad hoc, fragmented, and non-standardized, leading to results that are difficult to compare. Moreover, existing metrics focus mainly on accuracy or distributional measures, overlooking the critical dimension of ranking alignment. In practice, a simulation can achieve high accuracy while still failing to capture the option most preferred by humans - a distinction that is critical in decision-making applications. We introduce RADIUS, a comprehensive two-dimensional alignment suite for survey simulation that captures: 1) RAnking alignment and 2) DIstribUtion alignment, each complemented by statistical Significance testing. RADIUS highlights the limitations of existing metrics, enables more meaningful evaluation of survey simulation, and provides an open-source implementation for reproducible and comparable assessment.

研究动机与目标

• 由于任意度量导致的评价不规范，推动在基于 LLM 的调查模拟中实现标准化评估的需求。
• 定义捕捉排行榜对齐与分布对齐的二维对齐框架。
• 提供统计显著性检验，以在不同模拟器之间进行健壮比较。
• 在包含超过 300 道题的多样化社会调查数据集上演示该框架。
• 提供开源实现以实现可重复和可比的评估。

提出的方法

• 定义两条对齐维度：排行榜对齐（首选项和相对排序）和分布对齐（概率质量与统计差异）。
• 引入 Top Rank Match (TRM) 与 Rank Correlation (RC) 作为带有自举法显著性测试的人类首选项排名度量。
• 使用 Total Variation Distance (TVD) 与 Distribution Homogeneity (DH) 来评估分布对齐与统计不可区分性。
• 通过对问题层面的分数取平均来计算调查层面的对齐，并应用配对 t 检验比较不同模拟器的运行结果。
• 在包含超过 300 道题的社会调查数据集（政治、家庭、饮食）上验证该框架。
• 提供开源实现以实现可重复的评估。

实验结果

研究问题

• RQ1 基于 LLM 的调查模拟器在保留人类偏好排序（首选项与相对排序）方面表现如何？
• RQ2 模拟的分布与人类回答分布的吻合程度如何，是否存在统计上显著的差异？
• RQ3 排序与分布度量是否提供对模拟器质量在不同主题与题型上的互补洞察？
• RQ4 在多样化调查中，排序对齐是否通常比分布对齐更容易实现？
• RQ5 RADIUS 与现有的单一度量评估相比，在区分模拟器与基线方面有何差异？

主要发现

• 排序对齐通常比分布对齐在不同数据集上更易实现。
• 分布同质性是最严格的标准，暴露出微妙的不匹配。
• RADIUS 度量在不同题目类型与主题上相较常见替代方法具有更高的区分能力和鲁棒性。
• 定性分析揭示了排序与分布度量之间的互补性失效模式。
• 非参数基线与基于 LLM 的模拟在统计上可显著区分，显示度量的鲁棒性。
• 该框架揭示排序与分布度量可以暴露任一单一度量未捕捉的不同问题。