AI and Music Festival (S+T+ARTS): creatividad musical con IA

La irrupción de la inteligencia artificial (IA) está redefiniendo la manera en que se crea, se produce y se consume música, y plantea nuevos retos para la industria, la creatividad y las artes. En un contexto de evolución acelerada, resulta esencial comprender cómo se puede aplicar la IA —redes neuronales, análisis de emociones, visión por computador, captura de movimiento…— tanto en los procesos creativos como en las formas de acercar la música al gran público, así como para explorar su potencial como agente transformador del sector.

A estos desafíos ha dado respuesta el AI and Music Festival (S+T+ARTS), que tuvo lugar los días 27 y 28 de octubre de 2021 en el CCCB de Barcelona. El Festival reunió a ingenieros, científicos y creativos (músicos, DJs, artistas visuales, coreógrafos) de todo el mundo y de múltiples géneros, que presentaron en primicia sus obras experimentando en directo con la IA. Con actuaciones, talleres y espacios de cocreación, charlas y debates, y dos hackathons, el festival demostró el potencial transformador del aprendizaje automático (machine learning) aplicado a la música en directo y ha abierto nuevas vías de innovación para las industrias culturales, educativas y audiovisuales.

El equipo de la UPC formado por el GPI (IDEAI-UPC) y el CITM, con experiencia en procesamiento de imagen y vídeo, visión por computador, análisis de datos y tecnologías creativas, ha contribuido a desarrollar sistemas capaces de captar movimientos, gestos y patrones visuales, y transformarlos en parámetros musicales o visuales en tiempo real, ampliando las posibilidades expresivas de los artistas.

La iniciativa ha creado un marco experimental colaborativo para desarrollar actuaciones y prototipos que integran IA en tiempo real. Se han aplicado tecnologías de aprendizaje automático, redes neuronales para generación o transformación sonora, modelos de análisis emocional, sistemas de visión por computador y técnicas de captura de movimiento. La principal novedad ha sido la integración fluida entre humanos y sistemas de IA, explorando canales de comunicación innovadores —visuales, gestuales y auditivos— en actuaciones en directo.

De los 21 espectáculos programados dentro del Festival, la mayoría de los cuales fueron de estreno mundial, destacan algunos que han sido desarrollados por equipos de cocreación entre artistas e investigadores en IA de la UPC:

• El concierto inaugural del Festival, en L’Auditori de Barcelona, a cargo del pianista y compositor Marco Mezquida, que concibió su actuación ‘Piano + AI’ junto con investigadores del GPI y en colaboración con la Escola Superior de Música de Catalunya (ESMUC): una conversación en vivo entre el piano y la IA, utilizando análisis de audio en tiempo real y síntesis digital de sonidos. El piano solo, en el escenario, experimentando mientras interactúa con un algoritmo creado por la UPC y entrenado para reconocer los timbres del instrumento.
• El espectáculo audiovisual ‘Engendered Otherness. A symbiotic AI dance ensemble’, de Hamill Industries y la coreógrafa Kiani del Valle. Un espectáculo en el que investigadores de la UPC han aplicado la IA al mundo del baile, creado en colaboración con el cantautor Stefano Rosso. La actuación emplea visión por ordenador y captura de movimiento para transformar una coreografía interpretada en tiempo real por un espectáculo de danza formado por Kiani del Valle y sus bailarines sintéticos.
• El espectáculo interactivo de la DJ y productora Awwz, con participación del público, titulado ‘Awwz b2b AI DJ’, y que ha contado con la participación de investigadores del IDEAI. La performance lleva el machine learning al mundo del djing e invita al público a colaborar directamente, mediante tecnología de IA entrenada con bases de datos musicales a partir de emojis o textos que recogen estados de ánimo, y que se traducen en sugerencias de canciones. Se compartió cabina con una DJ artificial que, a partir de los comentarios procedentes de las redes, también fue adaptando las canciones que se iban pinchando.
• Como novedad, el escenario del Pati de les Dones del CCCB ha contado con un DJ set titulado ‘AI Rave’, creado por una red neuronal que ha generado música totalmente nueva a partir del archivo de programas de los últimos cinco años de historia de la emisora de radio Dublab Barcelona. Esta propuesta está diseñada por los artistas afincados en Berlín Dadabots y Hexorcismos.

También en formato de cocreación, destacó el proyecto de investigación y arte de Holly Herndon, una pionera en la experimentación con voz e IA, junto con María Arnal y Tarta Relena. Este ensamblaje de voz único ha creado una polifonía humana y virtual presentada en exclusiva en el Festival.

Alianzas entre ciencia, tecnología y artes

La Comisión Europea seleccionó al consorcio, formado por Sónar, la UPC y Betevé, para organizar el AI and Music Festival en el marco del programa S+T+ARTS (Science, Technology & the Arts), una iniciativa europea para fomentar alianzas entre ciencia, tecnología y artes. El AI and Music Festival cuenta con el patrocinio de everis, del grupo NTT DATA.

En el desarrollo de los contenidos del Festival han participado entidades de diferentes países europeos: Artificia, la Orquestra Simfònica de Barcelona i Nacional de Catalunya (OBC), IQuantum Music, Polifonia, L’Auditori y ESMUC, Factory Berlin y c/o Pop, Bozar, Today’s Art. Polifonia.

Presupuesto y financiación

AI & Music ha sido financiado con un presupuesto total de 265.000 € y ha tenido una duración de un año (marzo de 2021 – marzo de 2022).