[论文解读] Proxona: Supporting Creators' Sensemaking and Ideation with LLM-Powered Audience Personas

Yoonseo Choi, Eun Jeong Kang+3 more|arXiv (Cornell University)|Aug 20, 2024

Persona Design and Applications被引用 4

一句话总结

Proxona 是一个基于大型语言模型（LLM）的系统，能够从创作者的 YouTube 评论中生成数据驱动的受众画像，以增强对受众的理解并促进内容创意生成。通过从评论中提取维度和数值，并将它们聚类为合成的受众画像，Proxona 使创作者能够与这些画像进行对话，从而获得可操作的洞察，实现更明智、以受众为中心的内容决策——该系统已通过技术评估和包含 11 名创作者的用户研究得到验证。

ABSTRACT

A content creator's success depends on understanding their audience, but existing tools fail to provide in-depth insights and actionable feedback necessary for effectively targeting their audience. We present Proxona, an LLM-powered system that transforms static audience comments into interactive, multi-dimensional personas, allowing creators to engage with them to gain insights, gather simulated feedback, and refine content. Proxona distills audience traits from comments, into dimensions (categories) and values (attributes), then clusters them into interactive personas representing audience segments. Technical evaluations show that Proxona generates diverse dimensions and values, enabling the creation of personas that sufficiently reflect the audience and support data grounded conversation. User evaluation with 11 creators confirmed that Proxona helped creators discover hidden audiences, gain persona-informed insights on early-stage content, and allowed them to confidently employ strategies when iteratively creating storylines. Proxona introduces a novel creator-audience interaction framework and fosters a persona-driven, co-creative process.

研究动机与目标

• 解决创作者在理解受众动机和偏好方面所面临的困难，而这些困难超出了基本的人口统计学范畴。
• 通过将评论转化为可操作的受众洞察，弥合平台量化分析与定性受众反馈之间的差距。
• 通过支持创作者在内容规划初期阶段与合成的受众画像进行自然语言交互，来支持其内容规划。
• 减少对追逐趋势的依赖，帮助创作者基于多样化的受众视角共同创作内容。
• 提供一种可扩展的、由人工智能增强的方法，将受众反馈整合到内容创作流程中，且在内容制作之前完成。

提出的方法

• 使用大型语言模型分析 YouTube 评论，提取两个轴上的潜在受众特征：维度（例如兴趣、专业水平）和数值（维度内的具体属性）。
• 采用一个处理流程，先按长度筛选评论，再使用 few-shot prompting 将评论分类到维度并提取数值，以最小化幻觉风险。
• 使用基于嵌入的相似性方法，将相似的维度与数值组合聚类为具有代表性的独立受众画像。
• 将画像呈现为可交互的、虚构化的受众档案，其背景特征、动机和经历均源自真实评论。
• 使创作者能够以自然语言与画像互动，以获取反馈、测试内容创意并优化叙事结构。
• 通过技术评估（精确率、独特性、幻觉率）和包含 11 名 YouTube 创作者的用户研究来验证画像质量。

Figure 1. Exploration page where creators can explore their audience personas, associated dimensions and values , and proceeding conversations by asking natural language questions to personas. Creators can add a new persona by configuring dimensions and values , if necessary.

实验结果

研究问题

• RQ1 如何利用大型语言模型从非结构化的视频评论中提取有意义的受众维度和数值？
• RQ2 大型语言模型生成的画像在多大程度上反映了真实受众的多样性与偏好？如何最小化幻觉？
• RQ3 创作者在内容规划与创意生成的语境下，如何感知和使用受众画像？
• RQ4 基于画像的互动在哪些方面能够提升内容策略的质量与受众契合度？
• RQ5 此类系统如何融入内容创作者的真实创作工作流程？

主要发现

• 技术评估显示，Proxona 的处理流程生成了相关性强、独特性高且幻觉率低的画像，维度与数值提取的精确率较高。
• 对 11 名创作者进行的用户研究表明，Proxona 帮助他们获得了通过分析工具无法获取的新见解，深入了解了受众偏好与动机。
• 创作者表示，使用画像增强了其在内容决策上的信心，并认为与画像的互动有助于构思更具多样性且更契合受众的内容。
• 参与者表示，与画像互动支持了一种更具协作性和迭代性的内容开发过程，类似于与真实受众成员共同创作。
• 该系统特别有效帮助创作者摆脱对趋势的依赖，创作出更能引起特定受众群体共鸣的内容。
• 识别出若干局限性，包括基于长度的评论筛选可能引入偏差，以及对评论数据量较少的早期创作者而言，系统实用性降低。

Figure 2. Creation page where creators write a video storyline, proceed conversation about their plot, and request feedback on their written content.