CLIPE: Creación de personajes virtuales realistas e interactivos para entornos VR/AR

En un momento en que la realidad virtual (VR) y la realidad aumentada (AR) están creciendo con fuerza, resulta cada vez más importante crear mundos virtuales con personajes que no solo se vean realistas, sino que también puedan interactuar con otros usuarios, reaccionar de forma creíble y adaptarse a situaciones complejas. Hasta ahora, desarrollar este tipo de personajes exigía grandes equipos de diseñadores y programadores, lo que aumentaba los costes y los tiempos de producción. Esto dificulta escalar los proyectos y limita las oportunidades en ámbitos como los videojuegos, el entretenimiento, el entrenamiento, las simulaciones para entornos industriales o del ámbito de la salud.

Para dar respuesta a este reto, surge el proyecto CLIPE (por su nombre en inglés, Creating Lively Interactive Populated Environments), cuyo objetivo ha sido formar a una nueva generación de investigadores e innovadores capaces de crear personajes virtuales realistas, de interactuar con los usuarios y responder de forma creíble y, al mismo tiempo, desarrollar tecnologías avanzadas para la creación de personajes virtuales más intuitivos, autónomos y realistas, adaptándose a los nuevos escenarios complejos.

Para lograrlo, se han combinado técnicas innovadoras de machine learning, animación procedural, simulación y estudios de percepción que han permitido dotar a los personajes de nuevas habilidades basadas en ejemplos, en generar poblaciones virtuales a gran escala y en evaluar rigurosamente la calidad de sus comportamientos y capacidades de comunicación. 

En particular, CLIPE mejora tres aspectos fundamentales: 

• La calidad de la interacción usuario-personaje, garantizando que los personajes no atraviesen al usuario sino que respondan mediante colisiones y comportamientos realistas. 
• El embodiment o corporeidad (capacidad para ver y sentir el cuerpo virtual como tu propio cuerpo).
• Las capacidades psicomotrices del usuario y en concreto, la mejora de la precisión para interactuar con personajes y objetos.

Entre las capacidades desarrolladas en el marco del proyecto CLIPE, se incluyen también:

• Técnicas de aprendizaje automático para dotar a los personajes de comportamientos y habilidades derivadas de ejemplos reales.
• Animación y simulación procedural (una técnica de animación en la que los movimientos, comportamientos o transformaciones de un objeto se generan automáticamente mediante algoritmos, en lugar de ser creados fotograma a fotograma por un animador), para generar personajes virtuales coherentes y adaptables a diferentes contextos.
• Estudios de percepción y análisis de interacción, orientados a evaluar la credibilidad, comunicación y respuesta de los personajes.
• Entrenamiento especializado, combinando investigación avanzada con estancias en empresas del sector para garantizar la aplicabilidad industrial de los resultados.

CLIPE contribuirá a situar a Europa a la vanguardia en el diseño de personajes virtuales para VR y AR, reforzando la competitividad de las empresas de animación, videojuegos y tecnologías inmersivas. Además, su programa formativo dotará a jóvenes investigadores de las competencias clave para desenvolverse con éxito en sectores altamente competitivos, tanto en la industria como en el ecosistema emprendedor.

Consorcio, presupuesto y financiación

Además de la UPC, entre los socios académicos y de investigación se encuentran: University of Cyprus (coordinador), INRIA, University College London, Trinity College Dublin, Max Planck Institute for Intelligent Systems, KTH Royal Institute of Technology, École Polytechnique y Silversky3d Virtual Reality Technologies Ltd (spin-off de la Universidad de Chipre). A ellos se suman los socios industriales: Treedy’s SPRL, Amazon Development Center Germany GmbH, British Broadcasting Corporation (BBC), Golaem y Ubisoft.

El proyecto ha contado con un presupuesto total de 4.009.882,68 €, financiado por el programa Horizon 2020 (2014-2020), dentro del subprograma Marie Skłodowska-Curie Actions – Innovative Training Networks (European Training Networks) de la Comisión Europea (H2020-860768-CLIPE). CLIPE ha tenido una duración de 4 años y 6 meses (marzo de 2020 - agosto de 2024).