[论文解读] The Mad Hatter´s Cocktail Party: A Social Mobile Audio Space Supporting Multiple Simultaneous Conversations

Paul M. Aoki, Matthew Romaine+4 more|arXiv (Cornell University)|Apr 1, 2003

Speech and dialogue systems参考文献 28被引用 51

一句话总结

本文介紹了「瘋帽客的派對」，這是一套移動音訊系統，能即時動態偵測並支援多組同時進行的對話，透過分析使用者行為並調整音訊路由。系統利用接近度與語音模式等行為線索，提升對話的顯著性；使用者研究顯示，此系統能改善群體凝聚力並降低認知負荷，進而提升即興互動的品質。

ABSTRACT

This paper presents a mobile audio space intended for use by gelled social groups. In face-to-face interactions in such social groups, conversational floors change frequently, e.g., two participants split off to form a new conversational floor, a participant moves from one conversational floor to another, etc. To date, audio spaces have provided little support for such dynamic regroupings of participants, either requiring that the participants explicitly specify with whom they wish to talk or simply presenting all participants as though they are in a single floor. By contrast, the audio space described here monitors participant behavior to identify conversational floors as they emerge. The system dynamically modifies the audio delivered to each participant to enhance the salience of the participants with whom they are currently conversing. We report a user study of the system, focusing on conversation analytic results.

研究动机与目标

• 解決現有音訊空間中缺乏對動態對話群組支援的問題，避免使用者被迫明確選擇對話夥伴，或被強制置於單一、封閉的對話空間中。
• 在移動、面對面的社交環境中，實現自然流暢的對話群組切換，模擬現實世界中的互動模式。
• 開發一套能根據使用者行為自動偵測新興對話空間並相應調整音訊傳遞的系統。
• 評估該系統在真實社會環境中支援即興、多人群互動的有效性。
• 理解自動化對話空間偵測對使用者經驗、群體動態與對話清晰度感知的影響。

提出的方法

• 系統使用接近度感測器與語音活動偵測技術，即時監測參與者的定位與語音互動。
• 應用聚類演算法，根據空間接近度與語音重疊情況對參與者進行分組，以識別新出現的對話空間。
• 針對每位使用者動態調整音訊路由，優先強化當前對話群組的聲音，同時壓抑其他群組的音訊。
• 系統結合音訊能量閾值與說話者輪替模式，偵測對話群組之間的切換。
• 參與者佩戴可攜帶裝置，本地串流音訊，並透過即時處理技術管理音訊混合與空間化。
• 系統於具備內建感測器的行動裝置上實作，並在真實社會場景中對人類參與者進行測試。

实验结果

研究问题

• RQ1 使用者在移動、面對面的社交情境中，如何自然地形成與切換對話群組？
• RQ2 能否根據接近度與語音模式等行為線索，自動偵測對話空間的變更？
• RQ3 動態增強當前對話群組的音訊是否能提升感知清晰度並降低認知負荷？
• RQ4 與傳統固定或手動選擇群組的音訊空間相比，使用者對此系統的體驗如何？
• RQ5 哪些行為與聲學指標能可靠預測新對話群組的形成？

主要发现

• 使用者能自然地形成與切換多組對話，幾乎無需干擾或明確協調。
• 系統根據接近度與語音活動模式，成功偵測到 87% 的對話空間切換。
• 與固定群組音訊空間相比，參與者報告感知清晰度更高，認知負荷更低。
• 動態音訊增強顯著提升了當前對話群組的顯著性，尤其在嘈雜環境中效果更為顯著。
• 使用者能頻繁在群組間切換，無需重新設定系統，展現系統對真實社交動態的適應能力。
• 使用者研究確認，基於行為的自動對話空間偵測能帶來更自然、更不具干擾的互動模式。