Hacia una reconstrucción 3D para una visualización eficiente

La reconstrucción 3D, digitalización o escaneado de modelos 3D es una tecnología madura, que se ha utilizado en los últimos 5 años de forma recurrente en videojuegos, cine, ingeniería, medicina, arqueología y otras muchas áreas. Esta tecnología, basada en los principios de la fotogrametría, es muy sencilla de utilizar: se toma una colección de imágenes de un objeto o escena desde diferentes puntos de vista con la misma cámara y, a partir de ellas, se genera un modelo 3D (malla y materiales) del objeto. Sin embargo esta aproximación simplista – aunque comúnmente aceptada por agentes fuera de la industria – presenta múltiples problemas a la hora de llevarla a la práctica. La mayoría de estos problemas surgen de la diversidad y heterogeneidad en cuanto a escenas y objetos. Algunos de los problemas de más relevancia a considerar son los siguientes:

  • El objeto a digitalizar tiene materiales con texturas de alta frecuencia – patrones regulares y repetidos –
    o con demasiado brillo que dificultan el alineamiento entre cámaras (si el fondo tiene este tipo de textura se puede solventar este problema).
  • El objeto es difícil de fotografiar desde todos los ángulos. En el caso ideal es posible girar el objeto libremente sobre una base rotatoria pero aún así siempre van a quedar zonas sin digitalizar que generarán agujeros en la malla.
  • La malla reconstruida no está bien organizada. El resultado consiste en una colección de millones de triángulos que pueden ser simplificados en cuadriláteros (quads) y organizados en forma de lazos siguiendo las principales líneas de curvatura del objeto.
  • Sólo se reconstruye la textura con el albedo del material – porcentaje de luz que refleja la superficie en función de la luz que recibe en términos de radiación. Sin embargo la mayoría de motores gráficos modernos, basados en el omnipresente Physically Based Rendering, utilizan modelos de materiales que incluyen otros parámetros como el brillo, la rugosidad, la metalicidad o la especularidad.

Estos problemas se aprecian si comparamos estos dos modelos seleccionando el modo de visualización wireframe (Settings -> Rendering -> Wireframe). Acercándonos para apreciar la estructura de la malla comprobaremos que en el primer modelo no está organizada mientras que en el segundo sí que lo está. Además el segundo modelo utiliza también el modelo de iluminación PBR con los materiales editados manualmente. En el segundo modelo se muestran también los problemas para reconstruir el grifo que tiene una textura reflectante de alta frecuencia.


Hacia la automatización

En general no existe una solución universal automática que permita extraer de las imágenes un modelo 3D que se visualice de forma óptima, es decir, con el mínimo consumo de recursos por parte del dispositivo. Sin embargo se pueden añadir una serie de heurísticas que optimicen el resultado. Para avanzar en esta línea de investigación, el grupo MoBiVAP va a colaborar con la empresa GVAM Guías Interactivas SL en el proyecto RECREA (Recreación del patrimonio histórico y cultural).

La idea consiste en desarrollar una colección se servicios débilmente acoplados por los que, en forma de tubería con múltiples etapas de procesamiento, se pueda ir refinando y mejorando el modelo 3D obtenido a partir de cualquiera de los software de reconstrucción 3D existentes basados en fotogrametría. El resultado final del proceso será un modelo digital del objeto en tres dimensiones que se podrá insertar en las guías que desarrolla GVAM para que los visitantes puedan interactuar con él como parte de su visita al museo.

Modelo 3D de muñeca simplificado y renderizado sobre fondo panorámico

Abordaremos algunos de los principales problemas como:

  • El rellenado de los agujeros en la malla siguiendo la topología reconstruida
  • La simplificación y retopology de la malla
  • La generación de modelos a diferente resolución
  • El cocinado o bake de las texturas y mapas de normales

Ante la imposibilidad de automatizar el proceso para obtener un resultado óptimo desde un punto de vista cualitativo – siempre dependiente del criterio del usuario – se ofrecerá la posibilidad de exportar el modelo para editarlo en una herramienta de diseño 3D externa como Blender. Así un artista digital podría retocar y perfeccionar manualmente aquellos modelos que por su importancia requieran un especial tratamiento. Al finalizar podrá volver a importar el modelo facilitando así la integración de la reconstrucción 3D con la cadena de herramientas de diseño ya existente.

El proyecto acaba de comenzar y tendrá una duración estimada de un año. Los resultados serán explotados por GVAM en diferentes museos que participarán en las pruebas piloto. Podéis encontrar más información sobre RECREA en la web de GVAM

Anímate y dinos que opinas sobre esta entrada