También conocida como PNP o Perspective N-Points, es un problema que consiste en estimar la pose de una cámara calibrada a partir de un conjunto de N puntos 3D de coordenadas conocidas, y sus correspondientes proyecciones en la imagen de la cámara.
La pose de la cámara tiene 6 grados de libertad, típicamente referidos como posición y orientación, donde la posición se expresa como coordenadas X, Y y Z en algún sistema de referencia dado, y la orientación como un conjunto de 3 rotaciones cartesianas.
El problema proviene de uno mayor conocido como "calibración de cámara", específicamente de sus parámetros extrínsecos, y tiene numerosas aplicaciones en informática y robótica, como estimación de pose 3D o realidad aumentada.
Una solución al problema es posible conociendo solo 3 puntos, y recibe el nombre de P3P.
Otras soluciones existen para casos particulares de n>3.
Estas soluciones están ampliamente disponibles como código abierto en numerosas bibliotecas.
Dado un conjunto de n puntos 3D y sus correspondientes proyecciones 2D sobre una imagen con una cámara bien calibrada con sus parámetros intrínsecos conocidos, determinar los 6 grados de libertad de la pose de la cámara en la forma de su posición y orientación respecto del sistema de referencia, usualmente denominado "mundo" y representado con el subíndice w (world).
Esta ecuación de proyección se repite para cada punto 3D pw y su proyección pc, buscando R y T que cumpla con todas las ecuaciones.
Se requieren al menos 3 puntos para tener un sistema de ecuaciones determinado.
La precisión limitada y la tolerancia de las mediciones se clasifican como ruido.
Diversos métodos hacen uso de mayor cantidad de puntos para reducir el efecto del ruido.
Según la jerga utilizada para poses, la "traslación" t es la posición de la cámara, y la "rotación" R es la orientación de la cámara.
Usualmente la rotación se expresa como matriz algebraica, y no como ángulos.
El primer método data del siglo XIX, y resuelve las ecuaciones con 3 puntos.
Entre los requisitos modernos se cuentan:
Salvo excepciones, PnP asume que la cámara está calibrada (es decir, que se conoce su matriz de calibración K).
Se listan algunos métodos y sus características, todos de código abierto: