[论文解读] Structured Interactive Music Scores

Mauricio Toro|arXiv (Cornell University)|Aug 23, 2015

Music and Audio Processing参考文献 15被引用 21

一句话总结

本文提出了一种使用非确定性时序并发约束（ntcc）演算的形式化框架，用于结构化交互式音乐乐谱，以建模多媒体场景中的时间关系和全局约束。该框架将ntcc用于控制逻辑，结合Faust实现实时音视频处理，旨在通过混合系统语义与验证技术，在保持实时性能的同时实现行为属性的正式验证。

ABSTRACT

Interactive Scores is a formalism for the design and performance of interactive scenarios that provides temporal relations (TRs) among the objects of the scenario. We can model TRs among objects in Time Stream Petri nets, but it is difficult to represent global constraints. This can be done explicitly in the Non-deterministic Timed Concurrent Constraint (ntcc) calculus. We want to formalize a heterogeneous system that controls in one subsystem the concurrent execution of the objects using ntcc, and audio and video processing in the other. We also plan to develop an automatic verifier for ntcc.

研究动机与目标

• 将ntcc用于控制逻辑、Faust用于音视频处理、媒体加载器用于文件处理的异构系统进行形式化。
• 解决在实时交互式音乐系统中验证时间属性的挑战，其中传统ntcc验证过于缓慢。
• 为一种同步并发多媒体对象与全局约束的系统建立形式化语义。
• 实现交互式音乐场景中可达性与活性等属性的自动验证。
• 弥合形式化验证（通过ntcc）与高效实时执行（通过Faust插件）之间的差距。

提出的方法

• 使用ntcc演算对交互式音乐场景进行建模，以表达时间关系与全局约束。
• 将Faust作为实时信号处理组件集成，以替代计算开销较大的ntcc进程。
• 定义一种异构系统语义，结合ntcc（控制）、Faust（信号处理）与媒体加载器（文件I/O）。
• 利用ntcc的线性时序逻辑解释，正式指定并验证时间属性。
• 使用模型检测技术，实现在ntcc实用子集上的系统属性自动验证。
• 设计一种混合架构，其中经验证的ntcc模型指导Faust插件行为，确保属性保持不变。

实验结果

研究问题

• RQ1 如何对一种异构系统进行形式化指定，以结合基于ntcc的控制、基于Faust的信号处理与文件处理？
• RQ2 Faust插件是否能正确保留基于ntcc模型正式验证的时间属性？
• RQ3 是否可能在不牺牲形式化验证的前提下，实现在ntcc基础的交互式音乐系统中的实时性能？
• RQ4 何种形式化语义能够统一并发控制、全局约束与实时音视频流？
• RQ5 如何为ntcc的有用子集开发自动验证工具，以支持实际音乐应用开发？

主要发现

• 将Faust与ntcc集成，实现了实时音频处理，克服了纯ntccrt执行的性能限制。
• 所提出的框架支持对时间属性（如“事件e_A发生4个时间单位后，流B是流A的增益滤波输出”）的形式化验证。
• 包含500个时间对象的原型乐谱实现了平均时间单位持续30 ms，证明了与实时交互的兼容性。
• 在ntcc实用子集上使用模型检测，为交互式音乐系统自动验证提供了可行路径。
• 异构系统的正式语义支持对全局约束与多媒体对象间同步的精确指定。
• 该框架支持复杂的交互功能，如条件分支与循环，超越了基本的时间约束。