Animando en 3D fotografías 2D

Una investigación de la Universidad de Washington financiada por la Fundación Nacional de Ciencia de los EE.UU, la UW Animation Research y por empresas como Facebook, Huawei y Google ha llevado un equipo de diseñadores/programadores a desarrollar una técnica que permite seleccionar una persona (de cuerpo entero) en una foto y hacerla "salir" fuera del marco. Se llama "Photo Wake-Up". El proyecto fue presentado en diciembre de 2018 en la revista ArXiv con el título "Photo Wake-Up: 3D Character Animation from a Single Photo" pero no se difundió hasta la 'Conferencia de Visión Artificial y Reconocimiento de las Formas' (CVPR 2019) en California de junio 2019.

Para animar la imagen la técnica de Photo Wake-Up consiste en identificar a la persona de la foto y realizar una máscara del contorno del cuerpo. Una vez identificado, lo que se hace es crear una plantilla 3D con la posición de cada parte del sujeto. Y después lo que se hace es deformar al objeto para adaptarlo como si estuviera moviéndose. La técnica almacena información 3D para cada pixel, pese a que la imagen sea en 2D. Datos como la distancia de la cámara o cómo se conectan las articulaciones. Una vez se tienen esos datos, el algoritmo implementa en el modelado la textura y los colores de la imagen, además de rellenar el fondo. Para este último punto, el algoritmo se basa en el resto de la imagen como suele realizarse en otras técnicas. Por el momento la técnica tiene algunas limitaciones como por ejemplo que no es capaz de animar imágenes donde las personas tengan las piernas cruzadas o les falten partes del cuerpo, aunque sí entiende que haya elementos que tapen ciertas partes. 


Se puede ver una presentación del proyecto en YouTube.