Pose (visión por computadora)

Posición y orientación de un objeto en una imagen

En los campos de la informática y la visión artificial , la pose (o pose espacial ) representa la posición y orientación de un objeto, generalmente en tres dimensiones . ^[1] Las poses a menudo se almacenan internamente como matrices de transformación . ^{[2] [3]} El término “pose” es en gran medida sinónimo del término “transformación”, pero una transformación a menudo puede incluir escala , mientras que la pose no. ^{[4] [5]}

En la visión artificial, la postura de un objeto suele estimarse a partir de la información que ingresa la cámara mediante el proceso de estimación de la postura . Esta información puede utilizarse, por ejemplo, para permitir que un robot manipule un objeto o para evitar moverse hacia él en función de su posición y orientación percibidas en el entorno. Otras aplicaciones incluyen el reconocimiento de movimientos esqueléticos.

Estimación de pose

La tarea específica de determinar la postura de un objeto en una imagen (o imágenes estereoscópicas, secuencia de imágenes) se denomina estimación de la postura . Los problemas de estimación de la postura se pueden resolver de diferentes maneras según la configuración del sensor de imagen y la metodología elegida. Se pueden distinguir tres clases de metodologías:

• Métodos analíticos o geométricos: Dado que el sensor de imagen (cámara) está calibrado y se conoce la correspondencia entre los puntos 3D de la escena y los puntos 2D de la imagen, si también se conoce la geometría del objeto, significa que la imagen proyectada del objeto en la imagen de la cámara es una función bien conocida de la pose del objeto. Una vez que se ha identificado un conjunto de puntos de control en el objeto, normalmente esquinas u otros puntos característicos, es posible resolver la transformación de la pose a partir de un conjunto de ecuaciones que relacionan las coordenadas 3D de los puntos con sus coordenadas de imagen 2D. Los algoritmos que determinan la pose de una nube de puntos con respecto a otra nube de puntos se conocen como algoritmos de registro de conjuntos de puntos , si las correspondencias entre los puntos no se conocen ya.
• Métodos de algoritmos genéticos : si no es necesario calcular la pose de un objeto en tiempo real, se puede utilizar un algoritmo genético . Este enfoque es robusto, especialmente cuando las imágenes no están perfectamente calibradas. En este caso particular, la pose representa la representación genética y el error entre la proyección de los puntos de control del objeto con la imagen es la función de aptitud .
• Métodos basados ​​en el aprendizaje: estos métodos utilizan un sistema basado en el aprendizaje artificial que aprende a mapear las características de una imagen 2D para transformar la pose. En resumen, esto significa que se debe presentar al sistema un conjunto suficientemente grande de imágenes del objeto, en diferentes poses, durante una fase de aprendizaje. Una vez que se completa la fase de aprendizaje, el sistema debe poder presentar una estimación de la pose del objeto dada una imagen del mismo.

Pose de cámara

La resección de la cámara es el proceso de estimar los parámetros de un modelo de cámara estenopeica que se aproxima a la cámara que produjo una fotografía o un vídeo determinados; determina qué rayo de luz entrante está asociado con cada píxel de la imagen resultante. Básicamente, el proceso determina la pose de la cámara estenopeica.

Por lo general, los parámetros de la cámara se representan en una matriz de proyección de 3 × 4 llamada matriz de la cámara . Los parámetros extrínsecos definen la pose de la cámara (posición y orientación), mientras que los parámetros intrínsecos especifican el formato de la imagen de la cámara (distancia focal, tamaño de píxel y origen de la imagen).

Este proceso se denomina a menudo calibración geométrica de la cámara o simplemente calibración de la cámara, aunque ese término también puede referirse a la calibración fotométrica de la cámara o restringirse a la estimación de los parámetros intrínsecos únicamente. La orientación exterior y la orientación interior se refieren a la determinación de los parámetros extrínsecos e intrínsecos únicamente, respectivamente.

La calibración clásica de la cámara requiere objetos especiales en la escena, lo que no es necesario en la calibración automática de la cámara .

La resección de cámara se utiliza a menudo en la aplicación de visión estéreo , donde las matrices de proyección de dos cámaras se utilizan para calcular las coordenadas del mundo 3D de un punto visto por ambas cámaras.

Véase también

• Reconocimiento de gestos
• Homografía (visión por computadora)
• Calibración de la cámara
• Estructura a partir del movimiento
• Matriz esencial y tensor trifocal (pose relativa)

Referencias

1. Hoff, William A.; Nguyen, Khoi; Lyon, Torsten (29 de octubre de 1996). Casasent, David P. (ed.). "Técnicas de registro basadas en visión artificial para realidad aumentada". Robots inteligentes y visión artificial XV: algoritmos, técnicas, visión activa y manipulación de materiales . 2904 . SPIE: 538–548. Bibcode :1996SPIE.2904..538H. doi :10.1117/12.256311. S2CID  6587175.
2. "Pose (Posición y Orientación)".
3. "Matrices de transformación a geometry_msgs/Pose - Respuestas ROS: Foro de preguntas y respuestas de código abierto".
4. "Drake: Pose espacial y transformación".
5. "Documentación para desarrolladores de Apple".