AI and Music Festival (S+T+ARTS): creativitat musical amb IA
30 de gener de 2026
DoblAI: IA per al doblatge fàcil i ràpid de contingut multimèdia
2 de febrer de 202602/02/2026
El grup de recerca Agrotech de la UPC, en col·laboració amb la seva spin-off Ugiat Technologies, ha desenvolupat uPlayer, un nou concepte de reproductor multimèdia que permet la navegació i visualització de vídeos d’una manera més intuïtiva, millorant de manera intel·ligent l’experiència de l’usuari, especialment a YouTube i altres plataformes, integrant-se com un plugin o reproductor avançat.
L’anàlisi de continguts audiovisuals mitjançant intel·ligència artificial permet automatitzar nombrosos processos al llarg de la cadena de producció i gestió multimèdia. Les tècniques actuals de visió artificial reconeixen persones, llocs, escenes, objectes o logotips, mentre que l’anàlisi d’àudio possibilita la transcripció de la veu, la identificació dels parlants i la detecció de paraules clau. Combinant aquests resultats amb el processament del llenguatge natural, és possible generar resums, classificar continguts i extreure metadades útils per a la indexació, la cerca, la documentació automàtica, la monitorització, l’optimització publicitària o el suport a l’edició dels continguts.
uPlayer utilitza aquestes metadades per millorar l’experiència de l’espectador. Per exemple, en un informatiu, el sistema identifica automàticament notícies, personatges, seccions i conceptes rellevants, permetent una navegació no lineal molt més intuïtiva que el clàssic sistema d’avançament i retrocés de 10 segons: es pot saltar entre titulars, filtrar per seccions o cercar aparicions de persones concretes. Aquesta experiència es pot estendre a altres formats com l’entreteniment, les tertúlies o les sèries.
Per fer-ho possible, el proveïdor allotja els seus continguts en un servidor de vídeo sota demanda (YouTube, Vimeo o un servidor propi), que s’analitza automàticament i s’integra amb un plugin del reproductor, des del qual l’usuari rep les metadades que enriqueixen la reproducció, sense que el difusor hagi de modificar els seus fluxos de treball.
A més, els usuaris poden afegir etiquetes, crear punts de navegació (escenes preferides), generar clips curts i compartir-los a les xarxes socials, així com col·laborar amb altres usuaris en bases de dades sobre personatges determinats. Aquestes metadades es poden compartir o publicar com a perfils de navegació. També els creadors, com ara els youtubers, poden sol·licitar l’anàlisi automàtica i personalitzar els resultats abans de difondre el seu contingut.
uPlayer es presenta normalment com un plugin per al navegador (per exemple, Chrome) que s’integra amb els reproductors de vídeo existents. El sistema es pot explotar mitjançant subscripcions per anàlisi, oferint navegació avançada als usuaris o proporcionant informació sobre patrons de consum i interacció als productors. En determinats continguts, com cursos o conferències, també permet l’enriquiment col·laboratiu per part de la comunitat.
El grup de tecnologies audiovisuals d’Agrotech de la UPC ha aportat expertesa en sistemes de reconeixement facial i anàlisis de continguts d’àudio i vídeo. També s’ha encarregat de realitzar mesures de qualitat del sistema de manera específica per diferents tipologies de continguts como documentals, entrevistes, classes, informatius, series, etc.; proposant estratègies d’anàlisis en funció de la tipologia. S’ha col·laborat directament amb l’empresa Ugiat Technologies, que ha desenvolupat i adaptat els algorismes i els ha integrat en el sistema.
Pressupost i finançament
El projecte ha tingut una durada de 12 mesos (2024) i ha comptat amb un pressupost total de 20.000 €.
Projectes Relacionats
- Un equip del grup de recerca d’Anàlisi Matricial i Teoria Discreta del Potencial (MAPTHE) de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC), i del Departament de Matemàtiques de la CUNEF Universidad de Madrid, han participat en el desenvolupament de MARIA, un prototip de dispositiu portàtil, flexible i sense radiació, dissenyat per millorar la detecció precoç del càncer de mama. El dispositiu permet identificar tumors a través de la conductivitat elèctrica amb l’objectiu que, en el futur, pugui utilitzar-se en entorns d’atenció primària.
- El Centre de Disseny d’Equips Industrials (CDEI) de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC) juntament amb l’IRI, Institut de Robòtica i Informàtica Industrial (CSIC-UPC), participa en el desenvolupament d’un prototip precomercial de serradora portàtil automàtica que integra visió per computador, intel·ligència artificial i control numèric per millorar la productivitat, l’eficiència i la seguretat en el processament local de fusta per a l’empresa Envall Coop. S.L.
- El Centre de Diagnòstic Industrial i Fluidodinàmica (CDIF) de la Universitat Politècnica de Catalunya - BarcelonaTech (UPC) coordina el projecte europeu STOR-HY, que desenvolupa eines digitals, sistemes de monitoratge i models avançats per optimitzar l’operació de centrals hidroelèctriques reversibles i reduir-ne els costos d’inversió i manteniment.
