AI and Music Festival (S+T+ARTS): creativitat musical amb IA

La irrupció de la intel·ligència artificial (IA) està redefinint la manera com es crea, es produeix i es consumeix música, i planteja nous reptes per a la indústria, la creativitat i les arts. En un context d’evolució accelerada, esdevé essencial comprendre com es pot aplicar la IA —xarxes neuronals, anàlisi d’emocions, visió per computador, captura de moviment…— tant en els processos creatius com en les formes de fer arribar la música al gran públic, així com per ​e​xplorar el seu potencial com a agent transformador del sector.

A aquests desafiaments va fer front l’AI and Music Festival (S+T+ARTS), que va tenir lloc els dies 27 al 28 d’octubre de 2021 al CCCB de Barcelona. El Festival va reunir enginyers, científics i creatius (músics, DJs, artistes visuals, coreògrafs) de tot el món de múltiples gèneres, que van presentar en primícia les seves obres experimentant en directe amb la IA . Amb actuacions, tallers i espais de cocreació, xerrades i debats, i dos hackathons, el festival va demostrar el potencial transformador de l'aprenentatge automàtic (machine learning) aplicat a la música en directe i ha obert noves vies d’innovació per a les indústries culturals, educatives i audiovisuals.

L’equip de la UPC format pel GPI (IDEAI-UPC) i el CITM, amb expertesa en processament d’imatge i vídeo, visió per computador, anàlisi de dades i tecnologies creatives, ha contribuït a desenvolupar sistemes capaços de captar moviments, gestos i patrons visuals, i transformar-los en paràmetres musicals o visuals en temps real, ampliant les possibilitats expressives dels artistes. 

La iniciativa ha creat un marc experimental col·laboratiu per desenvolupar actuacions i prototips que integren IA en temps real. S’han aplicat tecnologies d’aprenentatge automàtic, xarxes neuronals per a generació o transformació sonora, models d’anàlisi emocional, sistemes de visió per computador i tècniques de captura de moviment. La novetat principal ha estat la integració fluida entre humans i sistemes d’IA, explorant canals de comunicació innovadors —visuals, gestuals i auditius— en actuacions en directe.

Dels 21 espectacles programats dins del Festival, la majoria dels quals van ser d’estrena mundial, en destaquen alguns que han estat desenvolupats per equips de cocreació entre artistes i investigadors en IA de la UPC:

• El concert inaugural del Festival, a l’Auditori de Barcelona, a càrrec del pianista i compositor Marco Mezquida, que ha concebut la seva actuació ‘Piano + AI’ juntament amb investigadors del GPI i en col·laboració amb l’Escola Superior de Música de Catalunya (ESMUC): una conversa en viu entre el piano i la IA, fent servir anàlisi d’àudio en temps real i síntesi digital de sons. El piano sol, a l'escenari, experimentant mentre interactua amb un algoritme creat per la UPC i entrenat per reconèixer els timbres de l'instrument.
• L’espectacle audiovisual ‘Engendered Otherness. A symbiotic AI dance ensemble’, de Hamill Industries i la coreògrafa Kiani del Valle. Un espectacle en què investigadors de la UPC han aplicat la IA al món del ball, creat en col·laboració amb el cantautor Stefano Rosso. L’actuació empra visió per ordinador i captura de moviment per transformar una coreografia interpretada en temps real per un espectacle de dansa format per Kiani del Valle i els seus ballarins sintètics.

• L’espectacle interactiu de la DJ i productora Awwz, amb participació del públic, que porta per títol ‘Awwz b2b AI DJ’, i que ha comptat amb la participació d’investigadors de l’IDEAI. La performance porta el machine learning al món del djing i convida el públic a col·laborar directament, mitjançant tecnologia d’IA entrenada amb bases de dades musicals a partir d’emojis o textos que recullen estats d’ànim, i que es tradueixen en suggeriments de cançons. Es va compartir taula amb una DJ artificial que, a partir dels comentaris procedents de les xarxes, també va anar adaptant les cançons que s’anaven punxant. 

• Com a novetat, l'escenari del Pati de les Dones del CCCB ha comptat amb un DJ set titulat 'AI Rave', creat per una xarxa neuronal que ha generat música totalment nova a partir de l'arxiu de programes dels últims cinc anys d'història de l'emissora de ràdio Dublab Barcelona. Aquesta proposta està dissenyada pels artistes radicats a Berlín Dadabots i Hexorcismos.

També en format de cocreació, va destacar el projecte de recerca i art de Holly Herndon, una pionera en l’experimentació amb veu i IA, juntament amb María Arnal i Tarta Relena. Aquest assemblatge de veu únic ha creat una polifonia humana i virtual presentada en exclusiva al Festival.

Aliances entre ciència, tecnologia i arts

La Comissió Europea va seleccionar el consorci, format per Sónar, la UPC i Betevé per organitzar l’AI and Music Festival en el marc del programa S+T+ARTS (Science, Technology & the Arts), una iniciativa europea per fomentar aliances entre ciència, tecnologia i arts. L’AI and Music Festival compta amb el patrocini d’everis, del grup NTT DATA.

En el desenvolupament dels continguts del Festival hi han participat entitats de diferents països europeus: Artificia, l’Orquestra Simfònica de Barcelona i Nacional de Catalunya (OBC), IQuantum Music, Polifonia, L’Auditori i l’ESMUC, Factory Berlin i c/o Pop, Bozar, Today’s Art. Polifonia.  

Pressupost i finançament

AI & Music ha estat finançat amb un pressupost total de 265.000€ i ha tingut una durada d’un any (març de 2021 - març de 2022).