[论文解读] Report of 2017 NSF Workshop on Multimedia Challenges, Opportunities and Research Roadmaps

Shih‐Fu Chang, Alexander G. Hauptmann+19 more|arXiv (Cornell University)|Aug 6, 2019

Video Analysis and Summarization参考文献 89被引用 4

一句话总结

本文报告了2017年国家科学基金会（NSF）研讨会的成果，该研讨会识别了未来15年多媒体与多模态系统在关键挑战、机遇及长期研究路线图方面的核心议题。通过专家共识与结构化分组讨论，报告在多模态理解、人工智能整合、伦理AI以及可扩展的多媒体系统等关键领域提出了战略方向，并为5年、10年和15年的时间节点制定了可操作的研究路线图。

ABSTRACT

With the transformative technologies and the rapidly changing global R&D landscape, the multimedia and multimodal community is now faced with many new opportunities and uncertainties. With the open source dissemination platform and pervasive computing resources, new research results are being discovered at an unprecedented pace. In addition, the rapid exchange and influence of ideas across traditional discipline boundaries have made the emphasis on multimedia multimodal research even more important than before. To seize these opportunities and respond to the challenges, we have organized a workshop to specifically address and brainstorm the challenges, opportunities, and research roadmaps for MM research. The two-day workshop, held on March 30 and 31, 2017 in Washington DC, was sponsored by the Information and Intelligent Systems Division of the National Science Foundation of the United States. Twenty-three (23) invited participants were asked to review and identify research areas in the MM field that are most important over the next 10-15 year timeframe. Important topics were selected through discussion and consensus, and then discussed in depth in breakout groups. Breakout groups reported initial discussion results to the whole group, who continued with further extensive deliberation. For each identified topic, a summary was produced after the workshop to describe the main findings, including the state of the art, challenges, and research roadmaps planned for the next 5, 10, and 15 years in the identified area.

研究动机与目标

• 识别并优先排序未来10至15年多媒体与多模态系统中的最关键研究挑战与机遇。
• 通过汇集人工智能、人机交互和信号处理等不同领域顶尖专家，促进跨学科合作。
• 为5年、10年和15年时间框架内关键多媒体研究领域制定可执行的长期研究路线图，包含里程碑目标。
• 应对开源平台、普适计算以及传统学科边界快速创新所引发的新兴挑战。
• 为国家科学基金会及更广泛的科研界在多媒体系统领域的未来资助与研究投资提供指导。

提出的方法

• 在华盛顿特区组织了为期两天的专家研讨会，邀请了23位来自不同多媒体与多模态研究背景的专家参与。
• 通过结构化分组讨论，经由共识驱动的审议，对关键研究领域进行讨论与优先排序。
• 收集并整合各小组讨论的成果，形成每个既定主题的详细总结。
• 为每个主题制定全面的研究路线图，包括最新技术进展评估、开放性挑战及5年、10年和15年的分阶段目标。
• 通过鼓励人工智能、自然语言处理、计算机视觉与以用户为中心的计算之间的对话，强调跨学科整合。
• 将成果记录在一份长篇报告（arXiv:1908.02308）中，作为研究人员与资助机构的战略参考。

实验结果

研究问题

• RQ1 未来15年中，多媒体与多模态系统面临的关键研究挑战与机遇是什么？
• RQ2 跨学科协作如何促进下一代多媒体系统的发展？
• RQ3 在现实世界部署中，多媒体AI系统在可扩展性方面面临哪些关键技术与社会性挑战？
• RQ4 为推进多模态理解与推理等核心多媒体能力，需要制定哪些长期研究路线图（5年、10年、15年）？
• RQ5 如何将伦理、隐私保护与可解释性AI原则嵌入未来多媒体系统的设计中？

主要发现

• 研讨会识别出若干高影响力的研究领域，包括多模态表征学习、以用户为中心的多媒体系统，以及多媒体中的伦理AI。
• 亟需可扩展、可解释且鲁棒的多媒体AI系统，以在多样化模态和真实世界环境中稳定运行。
• 人工智能、人机交互与认知科学之间的跨学科协作，对推进多模态理解与交互至关重要。
• 为每个主题制定了长期研究路线图，明确了5年、10年和15年时间框架内的具体里程碑与研究方向。
• 在多媒体系统中整合伦理考量、公平性与透明度被确定为关键研究优先事项。
• 本报告作为指导未来NSF资助与学术研究在多媒体与多模态系统领域发展的基础性战略文件。