[论文解读] ReelFramer: Human-AI Co-Creation for News-to-Video Translation

Sitong Wang, Samia Menon+7 more|arXiv (Cornell University)|Apr 19, 2023

Semantic Web and Ontologies被引用 9

一句话总结

ReelFramer 提出一种人机共创工作流，使用框定和基础步骤引导 LLMs 与图像模型将新闻文章转换为连贯、吸引人的新闻短片；一项受控研究显示以前提驱动的提示能提高框定符合度、信息覆盖率与连贯性。

ABSTRACT

Short videos on social media are the dominant way young people consume content. News outlets aim to reach audiences through news reels -- short videos conveying news -- but struggle to translate traditional journalistic formats into short, entertaining videos. To translate news into social media reels, we support journalists in reframing the narrative. In literature, narrative framing is a high-level structure that shapes the overall presentation of a story. We identified three narrative framings for reels that adapt social media norms but preserve news value, each with a different balance of information and entertainment. We introduce ReelFramer, a human-AI co-creative system that helps journalists translate print articles into scripts and storyboards. ReelFramer supports exploring multiple narrative framings to find one appropriate to the story. AI suggests foundational narrative details, including characters, plot, setting, and key information. ReelFramer also supports visual framing; AI suggests character and visual detail designs before generating a full storyboard. Our studies show that narrative framing introduces the necessary diversity to translate various articles into reels, and establishing foundational details helps generate scripts that are more relevant and coherent. We also discuss the benefits of using narrative framing and foundational details in content retargeting.

研究动机与目标

• 为将新闻文章翻译为短视频社媒短片，面向年轻受众，提出一种新颖的共创工具以提升效果。
• 研究中间层框定与基础步骤如何影响 AI 生成的脚本与故事板。
• 评估前提驱动的提示是否提升脚本质量、信息准确性与连贯性。
• 识别在新闻短片中平衡信息与娱乐性的叙事框架。
• 提供可操作的提示技巧与工作流程指南，适用于新闻业情境。

提出的方法

• 提出三阶段的框定与基础工作流以引导 AI 输出：用于短片的框定（说明性对话、重现、喜剧类比）以及基础（脚本前提、故事板角色表）。
• 使用 GPT-4 提取文章要素、生成前提、起草脚本，并通过文本到图像模型（如 DALL-E）生成角色表与故事板。
• 允许记者在各阶段接受、再生成或编辑 AI 输出，以保持准确性与控制权。
• 进行一项受控注释研究，由专业记者评估有无前提的脚本在六个信息丰富维度上的表现。
• 收集并分析定量评等（均值、标准差），并进行配对样本 Wilcoxon 检验以比较条件。
• 记录提示需求与脚本创作参数（脚本风格/内容参数），以支持可复现性。

实验结果

研究问题

• RQ1 在建立框定与基础后，是否能提升 AI 生成的新闻短片脚本与故事板的一致性与信息性？
• RQ2 三种叙事框架（说明性对话、重现、喜剧类比）在信息性与娱乐性之间的平衡方面有何差异？
• RQ3 在新闻短片共创工作流中，前提、脚本与故事板生成有哪些有效的提示技巧？
• RQ4 前提驱动的生成是否能提升信息准确性与对框定的遵循性？

主要发现

Question	Without Premise (Mean, SD)	With Premise (Mean, SD)	p-value
Q1: Conform to framing	5.58 (1.89)	6.95 (0.14)	.028
Q2: Information correct	6.67 (0.55)	6.83 (0.55)	.165
Q3: Covers important information	4.63 (1.23)	5.50 (1.43)	.034
Q4: Script coherence	4.63 (1.46)	5.92 (0.79)	.011
Q5: Fun/entertaining	4.29 (1.46)	4.67 (1.49)	.236
Q6: TikTok style	6.50 (0.65)	6.51 (0.54)	.237

• 基于前提的脚本生成显著提升对框定的一致性（p = .028）。
• 有前提的脚本覆盖了比无前提时更多的重要信息（p = .034）。
• 有前提的脚本比无前提的脚本更具连贯性（p = .011）。
• 总体而言，有前提的输出在各维度上倾向获得更高评分，显示中间前提步骤的益处。
• 评审者在脚本注释方面显示出显著的评审者间一致性（Cohen’s kappa = .71）。