La estimación de la postura en 3D es un proceso de predicción de la transformación de un objeto a partir de una postura de referencia definida por el usuario, dada una imagen o un escaneo en 3D . Surge en la visión artificial o la robótica , donde la postura o transformación de un objeto se puede utilizar para la alineación de modelos de diseño asistidos por computadora , la identificación, el agarre o la manipulación del objeto.
Los datos de imagen a partir de los cuales se determina la postura de un objeto pueden ser una sola imagen, un par de imágenes estereoscópicas o una secuencia de imágenes en las que, normalmente, la cámara se mueve a una velocidad conocida. Los objetos que se consideran pueden ser bastante generales, incluidos un ser vivo o partes del cuerpo, por ejemplo, una cabeza o manos. Sin embargo, los métodos que se utilizan para determinar la postura de un objeto suelen ser específicos para una clase de objetos y, por lo general, no se puede esperar que funcionen bien para otros tipos de objetos.
Es posible estimar la rotación y traslación 3D de un objeto 3D a partir de una única fotografía 2D, si se conoce un modelo 3D aproximado del objeto y los puntos correspondientes en la imagen 2D. Una técnica común desarrollada en 1995 para resolver esto es POSIT, [1] donde la pose 3D se estima directamente a partir de los puntos del modelo 3D y los puntos de la imagen 2D, y se corrigen los errores de forma iterativa hasta que se encuentra una buena estimación a partir de una única imagen. [2] La mayoría de las implementaciones de POSIT solo funcionan en puntos no coplanares (en otras palabras, no funcionará con objetos planos o planos). [3]
Otro enfoque consiste en registrar un modelo CAD 3D sobre la fotografía de un objeto conocido optimizando una medida de distancia adecuada con respecto a los parámetros de la pose. [4] [5] La medida de distancia se calcula entre el objeto en la fotografía y la proyección del modelo CAD 3D en una pose dada. La proyección en perspectiva o la proyección ortogonal son posibles según la representación de la pose utilizada. Este enfoque es apropiado para aplicaciones en las que se dispone de un modelo CAD 3D de un objeto conocido (o categoría de objeto).
Dada una imagen 2D de un objeto y una cámara calibrada con respecto a un sistema de coordenadas mundial, también es posible encontrar la pose que da el objeto 3D en su sistema de coordenadas de objeto. [6] Esto funciona de la siguiente manera.
Partiendo de una imagen 2D, se extraen los puntos de la imagen que corresponden a las esquinas de la misma. Los rayos de proyección de los puntos de la imagen se reconstruyen a partir de los puntos 2D, de modo que se puedan determinar los puntos 3D que deben incidir con los rayos reconstruidos.
El algoritmo para determinar la estimación de la pose se basa en el algoritmo iterativo del punto más cercano . La idea principal es determinar las correspondencias entre las características de la imagen 2D y los puntos de la curva del modelo 3D.
(a) Reconstruir los rayos de proyección a partir de los puntos de la imagen.(b) Estime el punto más cercano de cada rayo de proyección a un punto en el contorno 3D(c) Estime la postura del contorno con el uso de este conjunto de correspondencia(d) ir a (b)
El algoritmo anterior no tiene en cuenta las imágenes que contienen un objeto parcialmente ocluido. El algoritmo siguiente supone que todos los contornos están acoplados de forma rígida, lo que significa que la pose de un contorno define la pose de otro contorno.
(a) Reconstruir los rayos de proyección a partir de los puntos de la imagen.(b) Para cada rayo de proyección R: (c) Para cada contorno 3D: (c1) Estime el punto P1 más cercano del rayo R a un punto en el contorno (c2) si (n == 1) elija P1 como P real para la correspondencia punto-línea (c3) de lo contrario compare P1 con P: si dist(P1, R) es menor que dist(P, R) entonces Elija P1 como nuevo P(d) Utilice (P, R) como conjunto de correspondencia.(e) Estima la pose con este conjunto de correspondencia(f) Transformar contornos, ir a (b)
Existen sistemas que utilizan una base de datos de un objeto en diferentes rotaciones y traslaciones para comparar una imagen de entrada con la que estimar la postura. La precisión de estos sistemas se limita a las situaciones representadas en su base de datos de imágenes, pero el objetivo es reconocer una postura, en lugar de determinarla. [7]