XR4ED: Una infraestructura digital per a aplicacions orientades a l’aprenentatge, la formació i l’educació amb Realitat Estesa (XR)
22 de gener de 2026
uPlayer: millora de l’experiència de reproducció de vídeos
2 de febrer de 202630/1/2026
El Grup de Processament d’Imatge i Vídeo (GPI), vinculat a l’IDEAI-UPC, i el Grup en Cultura Digital i Tecnologies Creatives (DiCode) del Centre de la Imatge i la Tecnologia Multimèdia (CITM) de la Universitat Politècnica de Catalunya – BarcelonaTech (UPC), han coorganitzat l’AI and Music Festival (S+T+ARTS) juntament amb el Sónar+D i Betevé, per explorar l’ús creatiu de la intel·ligència artificial en la música.
La irrupció de la intel·ligència artificial (IA) està redefinint la manera com es crea, es produeix i es consumeix música, i planteja nous reptes per a la indústria, la creativitat i les arts. En un context d’evolució accelerada, esdevé essencial comprendre com es pot aplicar la IA —xarxes neuronals, anàlisi d’emocions, visió per computador, captura de moviment…— tant en els processos creatius com en les formes de fer arribar la música al gran públic, així com per explorar el seu potencial com a agent transformador del sector.
A aquests desafiaments va fer front l’AI and Music Festival (S+T+ARTS), que va tenir lloc els dies 27 al 28 d’octubre de 2021 al CCCB de Barcelona. El Festival va reunir enginyers, científics i creatius (músics, DJs, artistes visuals, coreògrafs) de tot el món de múltiples gèneres, que van presentar en primícia les seves obres experimentant en directe amb la IA . Amb actuacions, tallers i espais de cocreació, xerrades i debats, i dos hackathons, el festival va demostrar el potencial transformador de l'aprenentatge automàtic (machine learning) aplicat a la música en directe i ha obert noves vies d’innovació per a les indústries culturals, educatives i audiovisuals.
L’equip de la UPC format pel GPI (IDEAI-UPC) i el CITM, amb expertesa en processament d’imatge i vídeo, visió per computador, anàlisi de dades i tecnologies creatives, ha contribuït a desenvolupar sistemes capaços de captar moviments, gestos i patrons visuals, i transformar-los en paràmetres musicals o visuals en temps real, ampliant les possibilitats expressives dels artistes.
La iniciativa ha creat un marc experimental col·laboratiu per desenvolupar actuacions i prototips que integren IA en temps real. S’han aplicat tecnologies d’aprenentatge automàtic, xarxes neuronals per a generació o transformació sonora, models d’anàlisi emocional, sistemes de visió per computador i tècniques de captura de moviment. La novetat principal ha estat la integració fluida entre humans i sistemes d’IA, explorant canals de comunicació innovadors —visuals, gestuals i auditius— en actuacions en directe.
Dels 21 espectacles programats dins del Festival, la majoria dels quals van ser d’estrena mundial, en destaquen alguns que han estat desenvolupats per equips de cocreació entre artistes i investigadors en IA de la UPC:
- El concert inaugural del Festival, a l’Auditori de Barcelona, a càrrec del pianista i compositor Marco Mezquida, que ha concebut la seva actuació ‘Piano + AI’ juntament amb investigadors del GPI i en col·laboració amb l’Escola Superior de Música de Catalunya (ESMUC): una conversa en viu entre el piano i la IA, fent servir anàlisi d’àudio en temps real i síntesi digital de sons. El piano sol, a l'escenari, experimentant mentre interactua amb un algoritme creat per la UPC i entrenat per reconèixer els timbres de l'instrument.
- L’espectacle audiovisual ‘Engendered Otherness. A symbiotic AI dance ensemble’, de Hamill Industries i la coreògrafa Kiani del Valle. Un espectacle en què investigadors de la UPC han aplicat la IA al món del ball, creat en col·laboració amb el cantautor Stefano Rosso. L’actuació empra visió per ordinador i captura de moviment per transformar una coreografia interpretada en temps real per un espectacle de dansa format per Kiani del Valle i els seus ballarins sintètics.
- L’espectacle interactiu de la DJ i productora Awwz, amb participació del públic, que porta per títol ‘Awwz b2b AI DJ’, i que ha comptat amb la participació d’investigadors de l’IDEAI. La performance porta el machine learning al món del djing i convida el públic a col·laborar directament, mitjançant tecnologia d’IA entrenada amb bases de dades musicals a partir d’emojis o textos que recullen estats d’ànim, i que es tradueixen en suggeriments de cançons. Es va compartir taula amb una DJ artificial que, a partir dels comentaris procedents de les xarxes, també va anar adaptant les cançons que s’anaven punxant.
- Com a novetat, l'escenari del Pati de les Dones del CCCB ha comptat amb un DJ set titulat 'AI Rave', creat per una xarxa neuronal que ha generat música totalment nova a partir de l'arxiu de programes dels últims cinc anys d'història de l'emissora de ràdio Dublab Barcelona. Aquesta proposta està dissenyada pels artistes radicats a Berlín Dadabots i Hexorcismos.
També en format de cocreació, va destacar el projecte de recerca i art de Holly Herndon, una pionera en l’experimentació amb veu i IA, juntament amb María Arnal i Tarta Relena. Aquest assemblatge de veu únic ha creat una polifonia humana i virtual presentada en exclusiva al Festival.
Aliances entre ciència, tecnologia i arts
La Comissió Europea va seleccionar el consorci, format per Sónar, la UPC i Betevé per organitzar l’AI and Music Festival en el marc del programa S+T+ARTS (Science, Technology & the Arts), una iniciativa europea per fomentar aliances entre ciència, tecnologia i arts. L’AI and Music Festival compta amb el patrocini d’everis, del grup NTT DATA.
En el desenvolupament dels continguts del Festival hi han participat entitats de diferents països europeus: Artificia, l’Orquestra Simfònica de Barcelona i Nacional de Catalunya (OBC), IQuantum Music, Polifonia, L’Auditori i l’ESMUC, Factory Berlin i c/o Pop, Bozar, Today’s Art. Polifonia.
Pressupost i finançament
AI & Music ha estat finançat amb un pressupost total de 265.000€ i ha tingut una durada d’un any (març de 2021 - març de 2022).
Projectes Relacionats
- Un equip de recerca de l’Institut de Robòtica i Informàtica Industrial (IRI, CSIC-UPC), juntament amb el Centre de Disseny d'Equips Industrials (CDEI) de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC), participen en el projecte nacional CASANDRA, per desenvolupar una solució de fabricació digital que permeti establir un flux de dades bidireccional per a una integració digital contínua a tota la cadena de subministrament al llarg del cicle de vida del producte. Aquesta integració s’assolirà mitjançant bessons digitals i models basats en dades que s’actualitzen contínuament gràcies a eines de monitoratge i control distribuïts.
- Els grups de recerca Structural and Materials Technology (ATEM) i grup Enginyeria de la Construcció (EC) de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC) treballen en el projecte RE-STEEL, que té com a objectiu desenvolupar una metodologia eficient per a l’avaluació de la rehabilitació d’estructures d’acer existents.
- El grup de recerca AgroTech de la Universitat Politècnica de Catalunya – BarcelonaTech (UPC), juntament amb la seva spin-off Ugiat Technologies, han impulsat DoblAI, una plataforma d’IA que integra transcripció, traducció, subtitulació i doblatge de vídeo en un únic flux de treball. La solució, que fa servir tecnologia ‘deep learning’ i models de veu clonats o per defecte, està especialment pensada per al sector del periodisme i la comunicació.
- El grup de recerca Agrotech de la UPC, en col·laboració amb la seva spin-off Ugiat Technologies, ha desenvolupat uPlayer, un nou concepte de reproductor multimèdia que permet la navegació i visualització de vídeos d’una manera més intuïtiva, millorant de manera intel·ligent l’experiència de l’usuari, especialment a YouTube i altres plataformes, integrant-se com un plugin o reproductor avançat.
