Resección de cámara

Proceso de estimación de los parámetros de un modelo de cámara estenopeica.

La resección de cámara es el proceso de estimar los parámetros de un modelo de cámara estenopeica que se aproxima a la cámara que produjo una fotografía o un video determinado; determina qué rayo de luz entrante está asociado con cada píxel de la imagen resultante. Básicamente, el proceso determina la pose de la cámara estenopeica.

Normalmente, los parámetros de la cámara se representan en una matriz de proyección de 3 × 4 llamada matriz de cámara . Los parámetros extrínsecos definen la pose de la cámara (posición y orientación), mientras que los parámetros intrínsecos especifican el formato de imagen de la cámara (distancia focal, tamaño de píxel y origen de la imagen).

Este proceso a menudo se denomina calibración geométrica de la cámara o simplemente calibración de la cámara , aunque ese término también puede referirse a la calibración de la cámara fotométrica o restringirse únicamente a la estimación de los parámetros intrínsecos. La orientación exterior y la orientación interior se refieren a la determinación únicamente de los parámetros extrínsecos e intrínsecos, respectivamente.

La calibración clásica de la cámara requiere objetos especiales en la escena, lo que no es necesario en la calibración automática de la cámara . La resección de cámara se utiliza a menudo en la aplicación de visión estéreo donde las matrices de proyección de dos cámaras se utilizan para calcular las coordenadas mundiales 3D de un punto visto por ambas cámaras.

Formulación

La matriz de proyección de la cámara se deriva de los parámetros intrínsecos y extrínsecos de la cámara y, a menudo, se representa mediante una serie de transformaciones; por ejemplo, una matriz de parámetros intrínsecos de la cámara, una matriz de rotación de 3 × 3 y un vector de traslación. La matriz de proyección de la cámara se puede utilizar para asociar puntos en el espacio de imagen de una cámara con ubicaciones en el espacio mundial 3D.

Coordenadas homogéneas

En este contexto, utilizamos para representar una posición de punto 2D en coordenadas de píxeles y se utiliza para representar una posición de punto 3D en coordenadas mundiales . En ambos casos, se representan en coordenadas homogéneas (es decir, tienen un último componente adicional, que inicialmente, por convención, es un 1), que es la notación más común en robótica y transformadas de cuerpos rígidos . ${\displaystyle [u\ v\ 1]^{T}}$ ${\displaystyle [x_{w}\ y_{w}\ z_{w}\ 1]^{T}}$

Proyección

En referencia al modelo de cámara estenopeica , se utiliza una matriz de cámara para indicar un mapeo proyectivo desde coordenadas mundiales hasta coordenadas de píxeles . ${\displaystyle M}$

${\displaystyle {\begin{bmatrix}wu\\wv\\w\end{bmatrix}}=K\,{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}=M{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}}$

dónde . por convención son las coordenadas xey del píxel en la cámara, es la matriz intrínseca como se describe a continuación y forma la matriz extrínseca como se describe a continuación. son las coordenadas de la fuente del rayo de luz que incide en el sensor de la cámara en coordenadas mundiales, relativas al origen del mundo. Al dividir el producto de la matriz por , se puede encontrar el valor teórico de las coordenadas de los píxeles. ${\displaystyle M=K\,{\begin{bmatrix}R&T\end{bmatrix}}}$ ${\displaystyle u,v}$ ${\displaystyle K}$ ${\displaystyle R\,T}$ ${\displaystyle x_{w},y_{w},z_{w}}$ ${\displaystyle w}$

Parámetros intrínsecos

${\displaystyle K={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}}$

Contiene 5 parámetros intrínsecos del modelo de cámara específico. Estos parámetros abarcan la distancia focal , el formato del sensor de imagen y el punto principal de la cámara . Los parámetros y representan la distancia focal en términos de píxeles, donde y son las inversas del ancho y alto de un píxel en el plano de proyección y es la distancia focal en términos de distancia. ^[1] representa el coeficiente de inclinación entre los ejes x e y, y suele ser 0. y representa el punto principal, que idealmente estaría en el centro de la imagen. ${\displaystyle K}$ ${\displaystyle \alpha _{x}=f\cdot m_{x}}$ ${\displaystyle \alpha _{y}=f\cdot m_{y}}$ ${\displaystyle m_{x}}$ ${\displaystyle m_{y}}$ ${\displaystyle f}$ ${\displaystyle \gamma }$ ${\displaystyle u_{0}}$ ${\displaystyle v_{0}}$

Los parámetros intrínsecos no lineales, como la distorsión de la lente, también son importantes, aunque no pueden incluirse en el modelo de cámara lineal descrito por la matriz de parámetros intrínsecos. Muchos algoritmos de calibración de cámaras modernos también estiman estos parámetros intrínsecos en forma de técnicas de optimización no lineal. Esto se hace optimizando la cámara y los parámetros de distorsión en lo que generalmente se conoce como ajuste de paquete .

Parámetros extrínsecos

${\displaystyle {}{\begin{bmatrix}R_{3\times 3}&T_{3\times 1}\\0_{1\times 3}&1\end{bmatrix}}_{4\times 4}}$

${\displaystyle R,T}$son los parámetros extrínsecos que denotan las transformaciones del sistema de coordenadas de coordenadas mundiales 3D a coordenadas de cámara 3D. De manera equivalente, los parámetros extrínsecos definen la posición del centro de la cámara y el rumbo de la cámara en coordenadas mundiales. es la posición del origen del sistema de coordenadas mundial expresada en coordenadas del sistema de coordenadas centrado en la cámara. A menudo se considera erróneamente la posición de la cámara. La posición, , de la cámara expresada en coordenadas mundiales es (ya que es una matriz de rotación ). ${\displaystyle T}$ ${\displaystyle T}$ ${\displaystyle C}$ ${\displaystyle C=-R^{-1}T=-R^{T}T}$ ${\displaystyle R}$

La calibración de la cámara se utiliza a menudo como una etapa temprana en la visión por computadora .

Cuando se utiliza una cámara , la luz del entorno se enfoca en un plano de imagen y se captura. Este proceso reduce las dimensiones de los datos captados por la cámara de tres a dos (la luz de una escena 3D se almacena en una imagen 2D). Por tanto, cada píxel del plano de la imagen corresponde a un rayo de luz de la escena original.

Algoritmos

Existen muchos enfoques diferentes para calcular los parámetros intrínsecos y extrínsecos de una configuración de cámara específica. Los más comunes son:

1. Método de transformación lineal directa (DLT)
2. El método de Zhang
3. El método de Tsai.
4. Método de Selby (para cámaras de rayos X)

El método de Zhang

El modelo Zhang ^{[2] [3]} es un método de calibración de cámaras que utiliza técnicas de calibración tradicionales (puntos de calibración conocidos) y técnicas de autocalibración (correspondencia entre los puntos de calibración cuando se encuentran en diferentes posiciones). Para realizar una calibración completa mediante el método Zhang se requieren al menos tres imágenes diferentes del objetivo/medidor de calibración, ya sea moviendo el medidor o la propia cámara. Si algunos de los parámetros intrínsecos se dan como datos (ortogonalidad de la imagen o coordenadas del centro óptico), el número de imágenes necesarias se puede reducir a dos.

En un primer paso, se determina una aproximación de la matriz de proyección estimada entre el objetivo de calibración y el plano de la imagen utilizando el método DLT . ^[4] Posteriormente, aplicando técnicas de autocalibración se obtuvo la imagen de la matriz cónica absoluta [Enlace]. La principal contribución del método Zhang es cómo extraer un número intrínseco restringido y parámetros de calibración de la pose del objetivo de calibración. ${\displaystyle H}$ ${\displaystyle K}$ ${\displaystyle n}$ ${\displaystyle R}$ ${\displaystyle T}$ ${\displaystyle n}$

Derivación

Supongamos que tenemos una homografía que asigna puntos en un "plano de sonda" a puntos de la imagen. ${\displaystyle {\textbf {H}}}$ ${\displaystyle x_{\pi }}$ ${\displaystyle \pi }$ ${\displaystyle x}$

Los puntos circulares se encuentran tanto en nuestro plano de sonda como en la cónica absoluta . Naturalmente, tumbarse significa que también se proyectan sobre la imagen de la cónica absoluta (IAC) , es decir, y . Los puntos circulares se proyectan como ${\displaystyle I,J={\begin{bmatrix}1&\pm j&0\end{bmatrix}}^{\mathrm {T} }}$ ${\displaystyle \pi }$ ${\displaystyle \Omega _{\infty }}$ ${\displaystyle \Omega _{\infty }}$ ${\displaystyle \omega }$ ${\displaystyle x_{1}^{T}\omega x_{1}=0}$ ${\displaystyle x_{2}^{T}\omega x_{2}=0}$

${\displaystyle {\begin{aligned}x_{1}&={\textbf {H}}I={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\j\\0\end{bmatrix}}=h_{1}+jh_{2}\\x_{2}&={\textbf {H}}J={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\-j\\0\end{bmatrix}}=h_{1}-jh_{2}\end{aligned}}}$.

De hecho, podemos ignorar mientras sustituimos nuestra nueva expresión por lo siguiente: ${\displaystyle x_{2}}$ ${\displaystyle x_{1}}$

${\displaystyle {\begin{aligned}x_{1}^{T}\omega x_{1}&=\left(h_{1}+jh_{2}\right)^{T}\omega \left(h_{1}+jh_{2}\right)\\&=\left(h_{1}^{T}+jh_{2}^{T}\right)\omega \left(h_{1}+jh_{2}\right)\\&=h_{1}^{T}\omega h_{1}+j\left(h_{2}^{T}\omega h_{2}\right)\\&=0\end{aligned}}}$

Algoritmo de Tsai

El algoritmo de Tsai, un método importante en la calibración de cámaras, implica varios pasos detallados para determinar con precisión la orientación y posición de una cámara en el espacio 3D. El procedimiento, aunque técnico, se puede dividir generalmente en tres etapas principales:

Calibración inicial

El proceso comienza con la etapa de calibración inicial , donde la cámara captura una serie de imágenes. Estas imágenes, que a menudo presentan un patrón de calibración conocido como un tablero de ajedrez, se utilizan para estimar parámetros intrínsecos de la cámara, como la distancia focal y el centro óptico. ^[5]

Estimación de postura

Después de la calibración inicial, el algoritmo realiza una estimación de la pose . Esto implica calcular la posición y orientación de la cámara en relación con un objeto conocido en la escena. El proceso generalmente requiere identificar puntos específicos en el patrón de calibración y resolver los vectores de rotación y traslación de la cámara.

Refinamiento de parámetros

La fase final es el refinamiento de los parámetros . En esta etapa, el algoritmo refina los coeficientes de distorsión de la lente, abordando las distorsiones radiales y tangenciales. Se realiza una mayor optimización de los parámetros internos y externos de la cámara para mejorar la precisión de la calibración.

Este enfoque estructurado ha posicionado el algoritmo de Tsai como una técnica fundamental tanto en la investigación académica como en las aplicaciones prácticas dentro de la robótica y la metrología industrial.

Método de Selby (para cámaras de rayos X)

El método de calibración de cámaras de Selby ^[6] aborda la calibración automática de sistemas de cámaras de rayos X. Los sistemas de cámaras de rayos X, que constan de un tubo generador de rayos X y un detector de estado sólido, se pueden modelar como sistemas de cámaras estenopeicas, que comprenden 9 parámetros de cámara intrínsecos y extrínsecos. Luego se puede utilizar el registro basado en la intensidad a partir de una imagen de rayos X arbitraria y un modelo de referencia (como un conjunto de datos tomográficos) para determinar los parámetros relativos de la cámara sin la necesidad de un cuerpo de calibración especial ni ningún dato de verdad sobre el terreno.

Ver también

• estimación de pose 3D
• Realidad aumentada
• Virtualidad aumentada
• Algoritmo de ocho puntos
• Realidad mixta
• Modelo de cámara estenopeica
• Perspectiva-n-Punto
• Coeficiente polinómico racional

Referencias

1. Richard Hartley y Andrew Zisserman (2003). Geometría de vista múltiple en visión por computadora . Prensa de la Universidad de Cambridge. págs. 155-157. ISBN 0-521-54051-8.
2. Z. Zhang, "Una nueva técnica flexible para la calibración de cámaras'" Archivado el 3 de diciembre de 2015 en Wayback Machine , IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, páginas 1330–1334, 2000
3. P. Sturm y S. Maybank, "Calibración de cámara basada en planos: un algoritmo general, singularidades, aplicaciones" Archivado el 4 de marzo de 2016 en Wayback Machine , en las actas de la Conferencia IEEE sobre visión por computadora y reconocimiento de patrones ( CVPR), páginas 432–437, Fort Collins, CO, EE. UU., junio de 1999
4. Abdel-Aziz, YI, Karara, HM "Transformación lineal directa de coordenadas del comparador a coordenadas del espacio del objeto en fotogrametría de corto alcance Archivado el 2 de agosto de 2019 en Wayback Machine ", Actas del Simposio sobre fotogrametría de corto alcance (págs. 1-18), Falls Church, VA: Sociedad Estadounidense de Fotogrametría, (1971)
5. Roger Y. Tsai, "Una técnica versátil de calibración de cámaras para metrología de visión artificial 3D de alta precisión utilizando lentes y cámaras de TV disponibles en el mercado", IEEE Journal of Robotics and Automation , vol. RA-3, No 4, agosto de 1987
6. Boris Peter Selby et al., "Posicionamiento del paciente con autocalibración del detector de rayos X para terapia guiada por imágenes" Archivado el 10 de noviembre de 2023 en Wayback Machine , Ciencias de la ingeniería y física de Australasia, Vol.34, No.3 , páginas 391–400, 2011

enlaces externos

• Método de calibración de cámara de Zhang con software
• Calibración de cámara: conferencia sobre realidad aumentada en TU Muenchen, Alemania