AI and Music Festival (S+T+ARTS): creativitat musical amb IA
gener 30, 2026
DoblAI: IA per al doblatge fàcil i ràpid de contingut multimèdia
febrer 2, 202602/02/2026
El grup de recerca Agrotech de la UPC, en col·laboració amb la seva spin-off Ugiat Technologies, ha desenvolupat uPlayer, un nou concepte de reproductor multimèdia que permet la navegació i visualització de vídeos d’una manera més intuïtiva, millorant de manera intel·ligent l’experiència de l’usuari, especialment a YouTube i altres plataformes, integrant-se com un plugin o reproductor avançat.
L’anàlisi de continguts audiovisuals mitjançant intel·ligència artificial permet automatitzar nombrosos processos al llarg de la cadena de producció i gestió multimèdia. Les tècniques actuals de visió artificial reconeixen persones, llocs, escenes, objectes o logotips, mentre que l’anàlisi d’àudio possibilita la transcripció de la veu, la identificació dels parlants i la detecció de paraules clau. Combinant aquests resultats amb el processament del llenguatge natural, és possible generar resums, classificar continguts i extreure metadades útils per a la indexació, la cerca, la documentació automàtica, la monitorització, l’optimització publicitària o el suport a l’edició dels continguts.
uPlayer utilitza aquestes metadades per millorar l’experiència de l’espectador. Per exemple, en un informatiu, el sistema identifica automàticament notícies, personatges, seccions i conceptes rellevants, permetent una navegació no lineal molt més intuïtiva que el clàssic sistema d’avançament i retrocés de 10 segons: es pot saltar entre titulars, filtrar per seccions o cercar aparicions de persones concretes. Aquesta experiència es pot estendre a altres formats com l’entreteniment, les tertúlies o les sèries.
Per fer-ho possible, el proveïdor allotja els seus continguts en un servidor de vídeo sota demanda (YouTube, Vimeo o un servidor propi), que s’analitza automàticament i s’integra amb un plugin del reproductor, des del qual l’usuari rep les metadades que enriqueixen la reproducció, sense que el difusor hagi de modificar els seus fluxos de treball.
A més, els usuaris poden afegir etiquetes, crear punts de navegació (escenes preferides), generar clips curts i compartir-los a les xarxes socials, així com col·laborar amb altres usuaris en bases de dades sobre personatges determinats. Aquestes metadades es poden compartir o publicar com a perfils de navegació. També els creadors, com ara els youtubers, poden sol·licitar l’anàlisi automàtica i personalitzar els resultats abans de difondre el seu contingut.
uPlayer es presenta normalment com un plugin per al navegador (per exemple, Chrome) que s’integra amb els reproductors de vídeo existents. El sistema es pot explotar mitjançant subscripcions per anàlisi, oferint navegació avançada als usuaris o proporcionant informació sobre patrons de consum i interacció als productors. En determinats continguts, com cursos o conferències, també permet l’enriquiment col·laboratiu per part de la comunitat.
El grup de tecnologies audiovisuals d’Agrotech de la UPC ha aportat expertesa en sistemes de reconeixement facial i anàlisis de continguts d’àudio i vídeo. També s’ha encarregat de realitzar mesures de qualitat del sistema de manera específica per diferents tipologies de continguts como documentals, entrevistes, classes, informatius, series, etc.; proposant estratègies d’anàlisis en funció de la tipologia. S’ha col·laborat directament amb l’empresa Ugiat Technologies, que ha desenvolupat i adaptat els algorismes i els ha integrat en el sistema.
Pressupost i finançament
El projecte ha tingut una durada de 12 mesos (2024) i ha comptat amb un pressupost total de 20.000 €.
Projectes Relacionats
- El grup de recerca AgroTech de la Universitat Politècnica de Catalunya – BarcelonaTech (UPC), juntament amb la seva spin-off Ugiat Technologies, han impulsat DoblAI, una plataforma d’IA que integra transcripció, traducció, subtitulació i doblatge de vídeo en un únic flux de treball. La solució, que fa servir tecnologia ‘deep learning’ i models de veu clonats o per defecte, està especialment pensada per al sector del periodisme i la comunicació.
- El Grup de Processament d’Imatge i Vídeo (GPI), vinculat a l’IDEAI-UPC, i el Grup en Cultura Digital i Tecnologies Creatives (DiCode) del Centre de la Imatge i la Tecnologia Multimèdia (CITM) de la Universitat Politècnica de Catalunya – BarcelonaTech (UPC), han coorganitzat l’AI and Music Festival (S+T+ARTS) juntament amb el Sónar+D i Betevé, per explorar l’ús creatiu de la intel·ligència artificial en la música.
- El Grup de Recerca en Visualització, Realitat Virtual i Interacció Gràfica (ViRVIG) de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC) ha participat en el projecte XR4ED, una iniciativa que connecta els sectors de la tecnologia educativa (EdTech) i la Realitat Estesa (XR), amb l’objectiu de transformar l’aprenentatge i la formació a Europa.
- L’inLab FIB de la UPC ha col·laborat amb Lizcore® en el desenvolupament d’una prova de concepte basada en intel·ligència artificial per millorar la seguretat en l’escalada amb autoassegurador, mitjançant la detecció automàtica i precisa de situacions de risc abans d’iniciar la via.
