[论文解读] SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation
SketchDynamics 通过自由形式的草图故事板作为面向 AI 驱动的动画的动态意图提示，具备自适应澄清界面和迭代编辑，并通过三阶段的用户研究进行了验证。
Sketching provides an intuitive way to convey dynamic intent in animation authoring (i.e., how elements change over time and space), making it a natural medium for automatic content creation. Yet existing approaches often constrain sketches to fixed command tokens or predefined visual forms, overlooking their freeform nature and the central role of humans in shaping intention. To address this, we introduce an interaction paradigm where users convey dynamic intent to a vision-language model via free-form sketching, instantiated here in a sketch storyboard to motion graphics workflow. We implement an interface and improve it through a three-stage study with 24 participants. The study shows how sketches convey motion with minimal input, how their inherent ambiguity requires users to be involved for clarification, and how sketches can visually guide video refinement. Our findings reveal the potential of sketch and AI interaction to bridge the gap between intention and outcome, and demonstrate its applicability to 3D animation and video generation.
研究动机与目标
- 调查自由形式草图如何传达超出固定指令的动态动画意图
- 开发 SketchDynamics 以通过视觉–语言模型解释草图并从故事板中呈现向量动画
- 通过三阶段用户研究评估工作流，以评估可解释性、模糊性处理与精化
- 展示对解释性风格运动图形的适用性及向 3D 动画和视频生成的潜在扩展
提出的方法
- 实现统一的网页界面，包含草图输入、故事板序列化与视频渲染视图
- 使用将草图描述与可执行代码配对的提示来引导生成
- 使用可执行的 Manim（Python）代码进行渲染以产生可缩放的向量动画
- 引入自适应澄清提示，将草图模糊性分为四个等级并允许用户干预
- 在第 3 阶段，开发基于帧的交互式精修方法，结合关键帧提取与注释以实现精确控制
- 进行三阶段研究，共 24 次尝试，以评估表现力、解读与精化
实验结果
研究问题
- RQ1自由形式草图在多大程度上能向视觉–语言模型传达动态动画意图？
- RQ2在解释自由草图时会出现哪些类型的模糊性，澄清干预如何帮助？
- RQ3自适应澄清指南是否能提高用户意图与生成动画之间的对齐？
- RQ4用户是否能通过画布上的或基于帧的编辑有效地精炼输出，以缩小意图与结果之间的差距？
主要发现
- 自由形式草图在最小输入下即可表达动画意图，但由于模糊性，解释往往是不充分的
- 澄清线索帮助用户参与解释过程并通过自适应提示减少误解
- 一些意图仍然未充分指定，需要查看输出并进行 refined 才能变得具体
- 包含基于帧的 refinement 的迭代可视化编辑方法实现高效、低成本的用户引导，朝向目标结果
- 研究显示草图–AI 交互具备弥合意图与结果的潜力，并指向向 3D 动画与视频生成的适用性
- 在 24 次尝试中有 5 个输出被判定为失败，突出当前基于草图的意图表达的局限性
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。