音乐院校师生走进AI技术话语体系

近日，第八届全国声音与音乐技术会议（CSMT2020）在山西太原闭幕。会议由上海计算机音乐协会、北京声学学会、上海市人工智能学会、上海市计算机学会联合主办，致力于加强合作与交流，促进文理交融，推动我国声音与音乐技术领域的发展。CSMT2020期间举办VIP系列课程、主旨演讲、作曲数据挑战赛、音乐装置展、分组论坛、企业论坛、学科发展论坛等活动。

会议促进“艺工融合”

全国声音与音乐计算研讨会由复旦大学、清华大学相关教授于2013年联合创办。2016年更名为全国声音与音乐技术会议（CSMT）。来自清华大学、北京大学、美国斯坦福大学音乐与声学计算机研究中心等数十所国内外高校和研究机构的教授和学生，以及百度、腾讯、阿里巴巴、杜比、酷狗、唱吧、华为、网易等多家公司的企业研究者均参加过会议。“CSMT最初是由理工科院校发起的，会议内容偏重基础理论方面。随着范围逐年扩大，CSMT吸引了更多音乐学院师生参加。”上海计算机音乐协会秘书长宁佐良介绍，CSMT旨在促进相关学科的交流，推动与会机构在科研、学术、教学、人才培养等方面的互相合作。

今年，来自中央音乐学院、中国音乐学院、上海音乐学院、四川音乐学院等音乐学院的参会者达到34名，较去年有明显增加。在中国音乐学院副教授李子晋协调下，CSMT2020邀请麦吉尔大学舒立克音乐学院音乐技术教授Gary Scavone进行题为《Musical Acoustics Research》的视频演讲。Scavone的研究包括音乐系统的声学建模、分析和合成，以及声音合成软件开发。其演讲令参会者眼界大开、踊跃互动，气氛十分活跃。

CSMT2020由中北大学承办。“虽然音乐特色不比中央音乐学院、中国音乐学院，但是，中北大学具有得天独厚的条件。比如在艺术与工科融合方面，我们不出校门在学校内部就解决了。”中北大学艺术学院院长王燕平介绍，在长期的教学实践中，中北大学艺术学院逐渐形成了艺术理论和人工智能相结合、纯艺术和军工文化相结合、专业艺术教育和艺术素质教育相结合的办学特色；希望通过会议共享学术知识，促进艺术学院“艺工融合”“音乐加科技”此类新学科的发展和学术研究。

音乐情感识别难在标注

音乐具有唤起强烈情感和影响情绪的能力。随着音乐人工智能在音乐科技领域的快速发展，音乐情感识别越来越受到研究者的关注。CSMT2020设置音频情感计算分组论坛，发表演讲《基于跨文化的动态情感感知与音乐元素的关联性分析》《音乐声的音色感知特征与情感的关联研究》《基于神经认知科学方法的音乐对情绪诱发的机制研究综述》等。

其中，《音乐声的音色感知特征与情感的关联研究》作者郭纪莹、沈勇、刘京宇，研究音乐声的音色感知特征与情感的关联关系。首先，他们通过多维尺度分析方法确定了一个五维的情感空间，然后对72种音色的音阶素材和48种音色的旋律素材，进行情感标注主观评价实验，得到音色素材的情感数据；按照演奏内容、时域特性以及乐器类型三种因素进行分类，分别研究了音色感知特征和情感的相关关系，讨论了三种因素对音色感知特征与情感的影响；最后建立了一组音色感知特征与情感关系的数学模型。

音乐情感识别的难点在于缺乏足够的标签数据。准确地标注情感类别不仅成本高而且耗时，且对标注者有着较高的音乐背景要求。《基于跨文化的动态情感感知与音乐元素的关联性分析》作者未宇佳、杨达升、王鑫，介绍了人工与自动相结合的标注方法，他们对中西方传统音乐的音色、节奏、演奏技法、动态、音高五大类别的15个音乐元素进行标注，并对动态情感感知与音乐元素的关联性进行分析，发现节奏类和演奏技法类元素具有文化普适性，音乐速度的增加、节奏型的丰富变化、断奏的演奏技法，可以有效提升愉悦度、紧张唤醒度和能量唤醒度的感知。这种人工和自动标注相结合的方式，有效提升音乐情感识别的准确率。 

在音频情感计算之外，CSMT2020分组论坛还设立了音频与健康专题、中国音乐计算音乐学、音乐结构分析、声音感知与场景检测、普通音频计算机听觉、数据库与综述等专题。

音乐装置追求技术、注重艺术

今年，会议新增声音与音乐装置展、AI作曲数据挑战赛等板块，吸引音乐院校师生参与。其中，声音与音乐装置展展出28家单位的34件作品；包括技术成果12件，声音与音乐装置11件，交互音乐11件；为研究人员与艺术家提供平台，鼓励科技与艺术的跨界融合，并强调音乐技术在应用中的有效性。

“虽然参展作品数量不多，但是整体水平比较高。”四川音乐学院实验艺术学院副院长白小墨介绍，声音与音乐装置作品在追求技术的同时，不能忽略艺术品质。比如，上海音乐学院音乐工程系翁若伦创作的“笼中对”，是声音艺术融合生物艺术装置的系列小品。作品中，放在笼子里的手机扮演未来的宠物角色，可以与人对话交流，而笼子并不阻碍其自我迭代更新和意识生成。

技术成果则注重实用性以及与产业的结合。设计者根据市场需求开展研发，解决产业痛点。比如，参展技术成果“AI古筝教辅系统”为古筝初学者构建了一套较为完善的自学古筝框架，通过AI唱谱、AI智能纠错、AI智能打分等多种寓教于乐形式，让初学者在轻松快乐中高效学习古筝。技术成果“Poputar智能吉他”将吉他弹奏的把位可视化，帮助初学者快速掌握吉他按法；将自学过程转变为节奏大师和吉他英雄般的游戏体验。

声音与音乐技术是一个多学科交叉研究领域。在科学技术方面，涉及声学、信号处理、计算机科学、电子工程、人工智能、数学等学科；在音乐方面，涉及理论研究、创作、表演、教育、音乐制作、音响工程、声音设计、声音装置等。“技术与艺术，角度不同，彼此碰撞，相互启发，两个曾经割裂的方向正在融合。如果将融合之路比作登山，我们也许还在山脚，但至少已经起步。”大会学术委员会主席、南京邮电大学通信与信息工程学院副院长邵曦介绍，CSMT2020投稿论文基本与音乐音频计算相关，投稿数量、质量均有进步。白小墨表示，“学科交叉融合是大势所趋。CSMT2020发布国内人工智能技术最新研究成果、前沿动态。来自音乐学院的参会者，要搞懂技术原理，进入人工智能技术话语体系，从而找准科技与音乐的融合点。”