科技赋能音乐创作和表达
文化纵横
文化观察,评析
2023-05-06 18:53
关注

5月4日晚,中央音乐学院2020级电子音乐作曲专业博士毕业音乐会在中央音乐学院演奏厅举行。此次音乐会由中央音乐学院音乐人工智能系主任李小兵教授的三位博士生栾家、张渊、孙宇明多首独具匠心的音乐作品组成,共同探讨人工智能(AI)技术与脑科学技术在音乐创作与表达上的无限可能。

整场音乐会采用央音与华为联合实验室共同研发和制定的3D音乐创作方法、3D音乐制作标准和3D音乐编解码标准。标准通过大量实验,采集听众的心理和生理指标,制定出符合音乐家听感与大众认知规律的3D音乐制作与设计原则。该成果为3D音乐创作者提供了音频空间与层次设计的依据,为3D音乐的自动混音技术提供了科学理论与数据支持,同时,这一研究为3D音乐与脑科学的进一步探索奠定了坚实的理论基础。目前,音乐会搭载的3D音乐编解码系统已达到世界前沿水平,为听众带来了一场令人震撼的3D音乐盛宴。

音乐会包含了一系列富有创新性的作品,栾家博士在作品《五蕴(Five Skandhas)》中,将电子音乐与AI机器视觉、红外体感控制相结合,形成体态、影像、音乐间的三重交互,构建出一个沉浸式的3D视听空间,表现了人在对物质、感受、意念、行为和意识颠覆与超越后,达到的内心平静与解放。作品《连续体(Continuum)》借用物理学中“时空连续体”这一概念,将声音采样参数通过洛伦兹方程进行计算与转换,结合3D化的声音呈现方式,从物理与心理两个角度探讨音乐的时间、空间与人的感知预期之间的关系,展现音乐的多重维度。作品《<厄>之二 ——司岗(Er No.2—Si Mgang)》采用佤族民间乐器的现场演奏,结合人工智能乐器识别技术,使用手势控制器对现场声音进行实时变形与重塑,并使用手机陀螺仪实时控制声音的3D位置移动。试图将原始的民间音乐与科技化的音乐呈现相结合,在原始苍茫,大地混沌的意境中镶入数字世界的符号。《全是爱(All is AI)》是一首借助ChatGPT进行声音与视觉编码的作品,通过AI辅助声音检索、音乐合成和可视化设计,探索人机协作的电子音乐创作方式,呈现人类的共同情感表达。

张渊博士的作品以3D音频技术为形态,突出了脑科学、人工智能与电子音乐的交叉融合,探索了未来音乐创作与表达中新的可能性。中国古人讲,诚意正心、修身齐家治国平天下。在作品《观己(Self in the mirror)》中,交互反馈式的脑电音乐将实时捕捉欣赏者的情绪变化,并反馈生成为有助于欣赏者注意力提升的声音内容,以此来安静其心神,进入沉思和反省的状态。之后,伴随着作品对七罪宗的多媒体艺术化表现,引导欣赏者审视这七样人性之弱点,思考何为善、何为美、何为心。3D音频技术带来的沉浸式声场,以及其中声音对象空间化运动的均使现场观众的注意力始终被音乐主动引导,同时,实时情感反馈机制使得音乐创作过程变得更加个性化和多样化,让我们重新审视音乐与情感之间的关系,同时也拓宽了音乐表达的边界。作品《云间虹霓Over the Rainbow》将认知科学与AI计算相结合,与演奏家一起通过二胡和吉他中西两种乐器,对灭世洪水的故事进行表现。在创作过程中,作曲家对独奏乐器的声音呈现方式,以及多媒体画面与声音效果的配合形态都做了3D化设计,并其通过实时捕捉的脑电信号实现了演奏者与听众之间的共情互动,挑战了音乐创作与表达的边界。在演奏过程中,演奏者与听众的脑电信号会被传输至计算机进行分析与计算,进而驱动音乐段落的发展模式。通过使用AI算法,作品实现了对演奏者与听众情绪变化的实时捕捉与响应,创造出一种全新的共情音乐体验。

孙宇明博士的作品在3D音频技术的基础上,还涵盖了、AI旋律衍生算法等多种创作技术。作品《时光河》由复杂网络的声音映射与可视化技术构建而成,这些复杂网络由自研三维 GPU 图可视化引擎驱动——这项技术可以实时模拟、渲染包括微信社交网络、邮件网络、大型网站站点网络在内的多个图数据。作品的创作初衷是在视觉与听觉的交互呈现中追溯时光流淌的痕迹,通过艺术手段刻画对于宇宙时空多维认知的哲学性思考。作品《繁星散落的夜晚》是在3D音频回放系统中创作的沉浸式多媒体音乐作品。作品的创作元素融合真实器乐创作语汇、电子音乐创作语汇,并在作品中进行了听觉与视觉影像的交互呈现——孙宇明利用“星空”这一借以抒怀的意像载体,隐喻化地借“星”写“心”,为现场的观众呈现了一场别开生面的3D视听盛宴。

“央音华为联合创新实验室”由中央音乐学院与华为技术有限公司于2021年11月共同创立。实验室采用产学研用合作创新模式,旨在音乐科技相关领域内进行基础性和应用性研究。在为期两年的第一期项目开展中,产出了3D音乐制作标准、流行音乐数据规范和歌声数据规范等一系列成果。今年3月,华为2012实验室中央媒体技术院总裁李江亲自带领技术团队,同中央音乐学院音乐人工智能与音乐信息科技系科研团队,共同召开项目技术委员会,就项目最新进展、科研成果转化、3D音乐的内容升级和生态建设,加速推进3D音乐产业发展等方面进行了深入交流和探讨。

未来,中央音乐学院与华为公司将继续秉持创新精神,深化合作,在3D音乐编解码技术、汽车3D音响领域,以及依托国家自然科学基金重大项目《音乐智能量化和脑科学认知研究》探索3D音乐在音乐治疗、音乐脑科学机制等领域的研究,共同探寻人工智能与音乐相融合的发展之路,共同服务国家音乐科技文化发展。

“我们和世界顶级人工智能专家跟一起研究新的技术,并将其运用到音乐的创作上来,是真正意义上的交叉。这场音乐会不是传统电子音乐的交互手段,而是应用我们自己最新的研究成果,这些技术未来一定会更广泛地运用到音乐创作的多个层面。”李小兵表示,“可以说,这场音乐会标志着电子音乐作曲已经步入人工智能的时代,与最前沿的科技结合,是未来音乐创作的方向,未来的音乐有无限可能性。”

特别声明:本文为人民日报新媒体平台“人民号”作者上传并发布,仅代表作者观点。人民日报仅提供信息发布平台。
打开客户端发表评论