[论文解读] SoulSeek: Exploring the Use of Social Cues in LLM-based Information Seeking

Yubo Shu, Peng Zhang+9 more|arXiv (Cornell University)|Jan 3, 2026

Information Retrieval and Search Behavior被引用 0

一句话总结

本论文开发了 SoulSeek，将社交流讯嵌入基于 LLM 的社交内容平台搜索，并评估线索对用户认知、体验和信息检索行为的影响。

ABSTRACT

Social cues, which convey others' presence, behaviors, or identities, play a crucial role in human information seeking by helping individuals judge relevance and trustworthiness. However, existing LLM-based search systems primarily rely on semantic features, creating a misalignment with the socialized cognition underlying natural information seeking. To address this gap, we explore how the integration of social cues into LLM-based search influences users' perceptions, experiences, and behaviors. Focusing on social media platforms that are beginning to adopt LLM-based search, we integrate design workshops, the implementation of the prototype system (SoulSeek), a between-subjects study, and mixed-method analyses to examine both outcome- and process-level findings. The workshop informs the prototype's cue-integrated design. The study shows that social cues improve perceived outcomes and experiences, promote reflective information behaviors, and reveal limits of current LLM-based search. We propose design implications emphasizing better social-knowledge understanding, personalized cue settings, and controllable interactions.

研究动机与目标

• 识别用户在基于 LLM 的社交内容平台信息检索中期望使用的社交流信号类型。
• 基于用户工作坊发现，设计并实现一个具备信号感知能力的 LLM 搜索原型（SoulSeek）。
• 在信息检索过程中实证评估社交流信号对结果指标和用户过程的影响。

提出的方法

• 开展设计工作坊，从社交平台（RedNote/Xiaohongshu）的用户处提取社交流信号类型与集成方法。
• 在 Coze 框架内，使用开源 LLM（Qwen-Max）实现 SoulSeek 的社交流信号提取、信号感知的查询改写，以及基于信号的匹配与生成。
• 进行一项受试间的实证研究，比较具信号的原型与无信号的系统。
• 收集混合型的定性与定量数据（问卷、思维大声 protocol、访谈），并采用主题分析与统计分析。

实验结果

研究问题

• RQ1 RQ1: 用户期望使用哪些社交流信号，以及应如何在社交平台上的基于 LLM 的搜索中利用这些信号？
• RQ2 RQ2: 将社交流信号整合到系统中如何影响用户的信息检索结果与过程？

主要发现

Category	Dimension	C Mean	C SD	E Mean	E SD	Delta	p-value
Perception	trustworthiness	3.50	0.83	4.55	0.60	+1.05	0.0002
Perception	usefulness	2.75	0.85	3.85	1.09	+1.10	0.0011
Experience	user control	2.60	0.88	4.20	0.52	+1.60	0.0001
Experience	sense of direction	3.05	0.94	4.50	0.61	+1.45	0.0001
Experience	serendipity	2.20	0.83	4.00	0.86	+1.80	0.0001
Experience	willingness to use	2.55	0.83	4.20	0.62	+1.65	0.0001

• 社交流信号提高了结果的感知有用性和可信度。
• 具信号感知的系统增加了用户控制感、方向感、意外收获感，以及使用意愿。
• 用户报告在感知、体验和反思性信息行为方面有所提升，同时也揭示了模型对社会知识理解的不足之处。