[论文解读] Multimodality and parallelism in design interaction: co-designers' alignment and coalitions

Françoise Détienne, Willemien Visser|arXiv (Cornell University)|Dec 4, 2006

Language, Metaphor, and Cognition参考文献 30被引用 7

一句话总结

本文分析了建筑师协作设计会议中协作设计者之间的多模态互动，特别是图文-手势与言语模态之间的互动。通过语料库分析，揭示了通过整合与非整合的多模态表达所形成的协调与联盟关系，表明并行、共现的沟通模式在实时塑造协作设计动态与共享理解方面发挥关键作用。

ABSTRACT

This paper presents an analysis of various forms of articulation between graphico-gestural and verbal modalities in parallel interactions between designers in a collaborative design situation. Based on our methodological framework, we illustrate several forms of multimodal articulations, that is, integrated and non-integrated, through extracts from a corpus on an architectural design meeting. These modes reveal alignment or disalignment between designers, with respect to the focus of their activities. They also show different forms of coalition.

研究动机与目标

• 探究多模态沟通（言语、手势、视觉）如何促进或阻碍设计团队的协作。
• 考察协作设计者在设计讨论中如何实现或出现关注焦点的协调或不协调。
• 识别实时设计互动中通过多模态表达形成的联盟模式。
• 探讨多模态沟通中的并行性在协作设计过程中的作用。
• 提出一种用于分析自然情境下多模态、多方设计互动的方法论框架。

提出的方法

• 分析一次涉及多位协作设计者的建筑协作设计会议的视频与音频语料库。
• 应用多模态互动分析框架，识别言语、手势与图形模态之间的表达关联。
• 基于各模态贡献的同步性与连贯性，区分整合性与非整合性多模态表达。
• 通过时间协调与模态对齐分析，检测关注焦点的转变与新兴联盟。
• 运用会话分析与多模态转录技术，映射跨模态的互动动态。
• 关注设计师如何并行使用手势、言语与绘图来协商设计构想并建立共享理解。

实验结果

研究问题

• RQ1 在协作设计过程中，图文-手势模态与言语模态如何相互作用？
• RQ2 整合性与非整合性多模态表达在何种方式下表征协作设计者之间的协调或不协调？
• RQ3 联盟如何在设计互动中形成与转变？哪些多模态线索表征了这些转变？
• RQ4 多模态沟通中的并行性在维系或破坏协作设计过程方面发挥何种作用？
• RQ5 协作设计者如何通过多种模态实时协商关注焦点与共享理解？

主要发现

• 整合性多模态表达——即言语、手势与绘图协调一致——表征协作设计者之间强烈的协调与共同关注。
• 非整合性表达，如不匹配或异步的手势与言语，表征不协调或注意力的分散。
• 当多位协作设计者协调其模态贡献时，特别是通过协同手势与言语引用，联盟便得以形成。
• 多模态沟通中的并行性有助于维持持续的协作参与，使设计师即使在面对复杂设计挑战时也能保持共同关注。
• 分析表明，联盟并非静态存在，而是通过多模态协调的动态变化而形成与瓦解。
• 设计师频繁使用手势与绘图来支撑言语提案，表明视觉与空间模态在设计推理中具有核心作用。