CLIPE: Creació de personatges virtuals realistes i interactius per a entorns VR/AR

En un moment en què la realitat virtual (VR) i la realitat augmentada (AR) estan creixent amb força, resulta cada vegada més important crear mons virtuals amb personatges que no només es vegin realistes, sinó que també puguin interactuar amb altres usuaris, reaccionar de manera creïble i adaptar-se a situacions complexes. Fins ara, desenvolupar aquest tipus de personatges exigia grans equips de dissenyadors i programadors, la qual cosa augmentava els costos i els temps de producció. Això dificulta escalar els projectes i limita les oportunitats en àmbits com els videojocs, l’entreteniment, l’entrenament, les simulacions per a entorns industrials o de l’àmbit de la salut.

Per donar resposta a aquest repte, sorgeix el projecte CLIPE (pel seu nom en anglès,  Creating Lively Interactive Populated Environments), l’objectiu del qual ha estat formar una nova generació d’investigadors i innovadors capaços de crear personatges virtuals realistes, interactuar amb els usuaris i respondre de manera creïble i, al mateix temps, desenvolupar tecnologies avançades per a la creació de personatges virtuals més intuïtius, autònoms i realistes, adaptant-se als nous escenaris complexos.

Per aconseguir-ho, s’han combinat tècniques innovadores de machine learning, animació procedural, simulació i estudis de percepció que han permès dotar els personatges de noves habilitats basades en exemples, generar poblacions virtuals a gran escala i avaluar rigorosament la qualitat dels seus comportaments i capacitats de comunicació.

En particular, CLIPE millora tres aspectes fonamentals:

• La qualitat de la interacció usuari-personatge, garantint que els personatges no travessin l’usuari sinó que responguin mitjançant col·lisions i comportaments realistes.
• L’embodiment o corporeïtat (capacitat de veure i sentir el cos virtual com el propi cos). 
• Les capacitats psicomotrius de l’usuari i, en concret, la millora de la precisió per interactuar amb personatges i objectes.

Entre les capacitats desenvolupades en el marc del projecte CLIPE, també s’hi inclouen:

• Tècniques d’aprenentatge automàtic per dotar els personatges de comportaments i habilitats derivades d’exemples reals.
• Animació i simulació procedural (una tècnica d’animació en la qual els moviments, comportaments o transformacions d’un objecte es generen automàticament mitjançant algorismes, en lloc de ser creats fotograma a fotograma per un animador), per generar personatges virtuals coherents i adaptables a diferents contextos
• Estudis de percepció i anàlisi de la interacció, orientats a avaluar la credibilitat, la comunicació i la resposta dels personatges.
• Entrenament especialitzat, combinant recerca avançada amb estades en empreses del sector per garantir l’aplicabilitat industrial dels resultats.

CLIPE contribuirà a situar Europa a l’avantguarda en el disseny de personatges virtuals per a VR i AR, reforçant la competitivitat de les empreses d’animació, videojocs i tecnologies immersives. A més, el seu programa formatiu dotarà joves investigadors de les competències clau per desenvolupar-se amb èxit en sectors altament competitius, tant a la indústria com a l’ecosistema emprenedor.

Consorci, pressupost i finançament

A més de la UPC, entre els socis acadèmics i de recerca es troben: University of Cyprus (coordinador), INRIA, University College London, Trinity College Dublin, Max Planck Institute for Intelligent Systems, KTH Royal Institute of Technology, École Polytechnique i Silversky3d Virtual Reality Technologies Ltd (spin-off de la Universitat de Xipre). A aquests s’hi sumen els socis industrials: Treedy’s SPRL, Amazon Development Center Germany GmbH, British Broadcasting Corporation (BBC), Golaem i Ubisoft.

El projecte ha comptat amb un pressupost total de 4.009.882,68 €, finançat pel programa Horizon 2020 (2014-2020), dins del subprograma Marie Skłodowska-Curie Actions – Innovative Training Networks (European Training Networks) de la Comissió Europea (H2020-860768-CLIPE). CLIPE ha tingut una durada de 4 anys i 6 mesos (març de 2020 - agost de 2024).