Es más complicado de explicar que de ver en vídeo - y hay que verlo -, pero vamos a intentar entender qué hace el software y hardware que hay detrás de un nombre tan rimbombante como "Real-time Expression Transfer for Facial Reenactment”. En resumidas cuentas roba las expresiones de la cara de un sujeto y las coloca a otro, en tiempo real.
En nuestra opinión, el sistema de video ideado no tiene ningún componente que lo haga especialmente caro o complicado de conseguir. Para tomar las expresiones con calidad se utiliza una cámara que registra profundidad - RGB-D -, lo que viene a hacer un sistema Kinect. Hay una por cada individuo.
Lo complicado está en el software que toma de cada cuadro parámetros de identidad y expresión - especialmente en boca y ojos -, para traspasarlos a la imagen del sujeto resultante en tiempo real, teniendo en cuenta la nueva iluminación y diferencias en el rostro.
Lógicamente hay que realizar complicados cambios para que el asunto cuadre en la nueva cara, no es una transferencia directa, ya que no hay que perder credibilidad en las expresiones. Creo que lo mejor es verlo en funcionamiento:
El proyecto está siendo creado en colaboración de investigadores de la Universidad Erlangen-Nuremberg, el Max Planck Institute for Informatics, y la Universidad de Stanford. Se hizo público el pasado mes de septiembre, pero hasta ahora no había empezado a hacerse notar.
Las aplicaciones que se nos ocurren son variadas, un buen ejemplo puede estar en la asistencia de traducción de una persona que no habla un idioma pero quiere mostrarse cercano e identificado en una videoconferencia. ¿Se os ocurren más?
Más información | Real-time Expression Transfer for Facial Reenactment
Ver 3 comentarios