uPlayer: mejora de la experiencia de reproducción de vídeos

El análisis de contenidos audiovisuales mediante inteligencia artificial permite automatizar numerosos procesos a lo largo de la cadena de producción y gestión multimedia. Las técnicas actuales de visión artificial reconocen personas, lugares, escenas, objetos o logotipos, mientras que el análisis de audio posibilita la transcripción de la voz, la identificación de los hablantes y la detección de palabras clave. Combinando estos resultados con el procesamiento del lenguaje natural, es posible generar resúmenes, clasificar contenidos y extraer metadatos útiles para la indexación, la búsqueda, la documentación automática, la monitorización, la optimización publicitaria o el apoyo a la edición de contenidos.

uPlayer utiliza estos metadatos para mejorar la experiencia del espectador. Por ejemplo, en un informativo, el sistema identifica automáticamente noticias, personajes, secciones y conceptos relevantes, permitiendo una navegación no lineal mucho más intuitiva que el clásico sistema de avance y retroceso de 10 segundos: se puede saltar entre titulares, filtrar por secciones o buscar apariciones de personas concretas. Esta experiencia se puede extender a otros formatos como el entretenimiento, las tertulias o las series.

Para hacerlo posible, el proveedor aloja sus contenidos en un servidor de vídeo bajo demanda (YouTube, Vimeo o un servidor propio), que se analiza automáticamente y se integra con un plugin del reproductor, desde el cual el usuario recibe los metadatos que enriquecen la reproducción, sin que el difusor tenga que modificar sus flujos de trabajo.

Además, los usuarios pueden añadir etiquetas, crear puntos de navegación (escenas favoritas), generar clips cortos y compartirlos en redes sociales, así como colaborar con otros usuarios en bases de datos sobre personajes determinados. Estos metadatos se pueden compartir o publicar como perfiles de navegación. También los creadores, como por ejemplo los youtubers, pueden solicitar el análisis automático y personalizar los resultados antes de difundir su contenido.

uPlayer se presenta normalmente como un plugin para el navegador (por ejemplo, Chrome) que se integra con los reproductores de vídeo existentes. El sistema se puede explotar mediante suscripciones por análisis, ofreciendo navegación avanzada a los usuarios o proporcionando información sobre patrones de consumo e interacción a los productores. En determinados contenidos, como cursos o conferencias, también permite el enriquecimiento colaborativo por parte de la comunidad.

El grupo de tecnologías audiovisuales de AgroTech de la UPC ha aportado experiencia en sistemas de reconocimiento facial y análisis de contenidos de audio y vídeo. También se ha encargado de realizar mediciones de calidad del sistema de forma específica para diferentes tipologías de contenidos como documentales, entrevistas, clases, informativos, series, etc., proponiendo estrategias de análisis en función de la tipología. Se ha colaborado directamente con la empresa Ugiat Technologies, que ha desarrollado y adaptado los algoritmos y los ha integrado en el sistema.

Presupuesto y financiación

El proyecto ha tenido una duración de 12 meses (2024) y ha contado con un presupuesto total de 20.000 €.