El control visual , también conocido como control de robot basado en visión y abreviado como VS , es una técnica que utiliza información de retroalimentación extraída de un sensor de visión (retroalimentación visual [1] ) para controlar el movimiento de un robot . Uno de los primeros artículos que habla sobre el control visual fue de los laboratorios internacionales SRI en 1979. [2]
Hay dos configuraciones fundamentales del efector final del robot (mano) y la cámara: [4]
Las técnicas de control de Visual Servoing se clasifican en los siguientes tipos: [5] [6]
El IBVS fue propuesto por Weiss y Sanderson. [7] La ley de control se basa en el error entre las características actuales y deseadas en el plano de la imagen, y no implica ninguna estimación de la postura del objetivo. Las características pueden ser las coordenadas de las características visuales, líneas o momentos de regiones. El IBVS tiene dificultades [8] con movimientos de rotaciones muy grandes, lo que se ha dado en llamar retroceso de cámara. [9]
PBVS es una técnica basada en modelos (con una sola cámara). Esto se debe a que la pose del objeto de interés se estima con respecto a la cámara y luego se envía un comando al controlador del robot, que a su vez controla al robot. En este caso, también se extraen las características de la imagen, pero se utilizan adicionalmente para estimar información 3D ( pose del objeto en el espacio cartesiano), por lo que se trata de un servocontrol en 3D.
Los enfoques híbridos utilizan alguna combinación de servomotores 2D y 3D. Ha habido algunos enfoques diferentes para el servomotor híbrido.
La siguiente descripción del trabajo anterior se divide en 3 partes
Los sistemas servo visuales, también llamados servoing, han existido desde principios de la década de 1980, [11] aunque el término servo visual en sí solo se acuñó en 1987. [4] [5] [6] El servo visual es, en esencia, un método para el control de robots donde el sensor utilizado es una cámara (sensor visual). El servo consiste principalmente en dos técnicas, [6] una implica el uso de información de la imagen para controlar directamente los grados de libertad (DOF) del robot, por lo que se denomina servo visual basado en imágenes (IBVS). Mientras que el otro implica la interpretación geométrica de la información extraída de la cámara, como la estimación de la pose del objetivo y los parámetros de la cámara (asumiendo que se conoce algún modelo básico del objetivo). Existen otras clasificaciones de servo basadas en las variaciones en cada componente de un sistema servo, [5] por ejemplo, la ubicación de la cámara, los dos tipos son configuraciones ojo en mano y mano-ojo. En función del bucle de control, existen dos tipos: bucle abierto de punto final y bucle cerrado de punto final. Según si el control se aplica a las articulaciones (o grados de libertad) directamente o como un comando de posición a un controlador de robot, los dos tipos son servocontrol directo y mirada y movimiento dinámicos. Al ser uno de los primeros trabajos [12], los autores propusieron un esquema de servocontrol visual jerárquico aplicado al servocontrol basado en imágenes. La técnica se basa en el supuesto de que se puede extraer un buen conjunto de características del objeto de interés (por ejemplo, bordes, esquinas y centroides) y utilizarlo como modelo parcial junto con modelos globales de la escena y el robot. La estrategia de control se aplica a una simulación de un brazo robótico de dos y tres grados de libertad.
Feddema et al. [13] introdujeron la idea de generar una trayectoria de tarea con respecto a la velocidad de la característica. Esto es para asegurar que los sensores no se vuelvan ineficaces (deteniendo la retroalimentación) para ninguno de los movimientos del robot. Los autores suponen que los objetos son conocidos a priori (por ejemplo, modelo CAD) y todas las características se pueden extraer del objeto. El trabajo de Espiau et al. [14] analiza algunas de las preguntas básicas en el servo visual. Las discusiones se concentran en el modelado de la matriz de interacción, la cámara, las características visuales (puntos, líneas, etc.). En [15] se propuso un sistema de servo adaptativo con una arquitectura de servo de mirar y mover. El método utilizó flujo óptico junto con SSD para proporcionar una métrica de confianza y un controlador estocástico con filtrado de Kalman para el esquema de control. El sistema supone (en los ejemplos) que el plano de la cámara y el plano de las características son paralelos., [16] analiza un enfoque de control de velocidad utilizando la relación jacobiana s˙ = Jv˙ . Además, el autor utiliza el filtrado de Kalman, suponiendo que la posición extraída del objetivo tiene errores inherentes (errores del sensor). Se desarrolla un modelo de la velocidad del objetivo y se utiliza como entrada de avance en el bucle de control. Además, menciona la importancia de analizar la discrepancia cinemática, los efectos dinámicos, la repetibilidad, las oscilaciones del tiempo de estabilización y el retraso en la respuesta.
Corke [17] plantea una serie de cuestiones muy críticas sobre el servocontrol visual e intenta explicar sus implicaciones. El artículo se centra principalmente en la dinámica del servocontrol visual. El autor intenta abordar problemas como el retardo y la estabilidad, al tiempo que habla de las trayectorias de avance en el bucle de control. El artículo también intenta buscar una justificación para la generación de trayectorias, la metodología del control de ejes y el desarrollo de métricas de rendimiento.
Chaumette en [18] proporciona una buena visión de los dos problemas principales con IBVS. Uno, el servo a un mínimo local y el segundo, alcanzar una singularidad jacobiana. El autor muestra que los puntos de la imagen por sí solos no forman buenas características debido a la ocurrencia de singularidades. El artículo continúa, discutiendo las posibles comprobaciones adicionales para prevenir singularidades, a saber, los números de condición de J_s y Jˆ+_s, para comprobar el espacio nulo de ˆ J_s y J^T_s . Un punto principal que el autor destaca es la relación entre los mínimos locales y los movimientos irrealizables de las características de la imagen.
A lo largo de los años se han desarrollado muchas técnicas híbridas. [4] Estas implican el cálculo de la pose parcial/completa a partir de la geometría epipolar utilizando múltiples vistas o múltiples cámaras. Los valores se obtienen por estimación directa o mediante un esquema de aprendizaje o estadístico. Mientras que otros han utilizado un enfoque de conmutación que cambia entre basado en imágenes y basado en la posición según una función de Lyapnov. [4] Las primeras técnicas híbridas que utilizaban una combinación de enfoques basados en imágenes y basados en pose (información 2D y 3D) para el servo requerían un modelo completo o parcial del objeto para extraer la información de la pose y utilizaban una variedad de técnicas para extraer la información de movimiento de la imagen. [19] utilizó un modelo de movimiento afín a partir del movimiento de la imagen además de un modelo CAD poliédrico aproximado para extraer la pose del objeto con respecto a la cámara para poder servoaccionar el objeto (en las líneas de PBVS).
El servomotor visual 2-1/2-D desarrollado por Malis et al. [20] es una técnica bien conocida que descompone la información necesaria para el servomotor en una forma organizada que desacopla rotaciones y traslaciones. Los artículos suponen que la pose deseada se conoce a priori. La información rotacional se obtiene a partir de una estimación parcial de la pose, una homografía (esencialmente información 3D) que proporciona un eje de rotación y el ángulo (mediante el cálculo de los valores propios y vectores propios de la homografía). La información traslacional se obtiene directamente de la imagen mediante el seguimiento de un conjunto de puntos característicos. Las únicas condiciones son que los puntos característicos que se están rastreando nunca abandonen el campo de visión y que una estimación de profundidad esté predeterminada por alguna técnica fuera de línea. Se ha demostrado que el servomotor 2-1/2-D es más estable que las técnicas que lo precedieron. Otra observación interesante con esta formulación es que los autores afirman que el jacobiano visual no tendrá singularidades durante los movimientos. La técnica híbrida desarrollada por Corke y Hutchinson, [21] [22] popularmente llamada enfoque porcionado, divide el jacobiano visual (o de la imagen) en movimientos (tanto rotaciones como traslaciones) que relacionan los ejes X e Y y movimientos relacionados con el eje Z. [22] describe la técnica para dividir las columnas del jacobiano visual que corresponden a la traslación y rotación del eje Z (es decir, la tercera y sexta columnas). Se muestra que el enfoque particionado maneja el enigma de Chaumette analizado en. [23] Esta técnica requiere una buena estimación de profundidad para funcionar correctamente. [24] describe un enfoque híbrido donde la tarea de servo se divide en dos, a saber, principal y secundaria. La tarea principal es mantener las características de interés dentro del campo de visión. Mientras que la tarea secundaria es marcar un punto de fijación y usarlo como referencia para llevar la cámara a la pose deseada. La técnica necesita una estimación de profundidad a partir de un procedimiento fuera de línea. El documento analiza dos ejemplos para los cuales las estimaciones de profundidad se obtienen a partir de la odometría del robot y asumiendo que todas las características están en un plano. La tarea secundaria se logra utilizando la noción de paralaje. Las características que se rastrean se eligen mediante una inicialización realizada en el primer fotograma, que normalmente son puntos. [25] lleva a cabo una discusión sobre dos aspectos del servocontrol visual, el modelado de características y el seguimiento basado en modelos. La suposición principal es que el modelo 3D del objeto está disponible. Los autores destacan la noción de que las características ideales deben elegirse de manera que el grado de libertad del movimiento pueda desacoplarse mediante una relación lineal. Los autores también introducen una estimación de la velocidad objetivo en la matriz de interacción para mejorar el rendimiento del seguimiento. Los resultados se comparan con técnicas de servocontrol bien conocidas incluso cuando se producen oclusiones.
En esta sección se analiza el trabajo realizado en el campo del servocontrol visual. Intentamos hacer un seguimiento de las distintas técnicas en el uso de características. La mayor parte del trabajo ha utilizado puntos de imagen como características visuales. La formulación de la matriz de interacción en [5] supone que se utilizan puntos en la imagen para representar el objetivo. Hay algunos trabajos que se desvían del uso de puntos y utilizan regiones de características, líneas, momentos de imagen e invariantes de momento. [26] En [27], los autores analizan un seguimiento basado en características de imagen afines. Las características de la imagen se eligen en función de una medida de discrepancia, que se basa en la deformación que sufren las características. Las características utilizadas fueron parches de textura. Uno de los puntos clave del artículo fue que destacó la necesidad de observar las características para mejorar el servocontrol visual. En [28], los autores analizan la elección de las características de la imagen (la misma cuestión también se analizó en [5] en el contexto del seguimiento). El efecto de la elección de las características de la imagen en la ley de control se analiza con respecto solo al eje de profundidad. Los autores consideran la distancia entre los puntos característicos y el área de un objeto como características. Estas características se utilizan en la ley de control con formas ligeramente diferentes para resaltar los efectos en el rendimiento. Se observó que se logró un mejor rendimiento cuando el error del servo era proporcional al cambio en el eje de profundidad. [29] proporciona una de las primeras discusiones sobre el uso de momentos. Los autores proporcionan una nueva formulación de la matriz de interacción utilizando la velocidad de los momentos en la imagen, aunque complicada. Aunque se utilizan los momentos, los momentos son del pequeño cambio en la ubicación de los puntos de contorno con el uso del teorema de Green. El artículo también intenta determinar el conjunto de características (en un plano) para un robot de 6 grados de libertad. En [30] se analiza el uso de momentos de imagen para formular el jacobiano visual. Esta formulación permite el desacoplamiento del grado de libertad en función del tipo de momentos elegidos. El caso simple de esta formulación es nocionalmente similar al servo de 2-1/2- D. [30] La variación temporal de los momentos (m˙ij) se determina utilizando el movimiento entre dos imágenes y el teorema de Green. La relación entre m˙ij y el tornillo de velocidad (v) se da como m˙_ij = L_m_ij v. Esta técnica evita la calibración de la cámara al suponer que los objetos son planos y utilizar una estimación de profundidad. La técnica funciona bien en el caso plano, pero tiende a ser complicada en el caso general. La idea básica se basa en el trabajo de [4] Los invariantes de momento se han utilizado en [31] .La idea clave es encontrar el vector de características que desacopla todos los grados de libertad del movimiento. Algunas observaciones realizadas fueron que los momentos centralizados son invariantes para las traslaciones 2D. Se desarrolla una forma polinomial complicada para las rotaciones 2D. La técnica sigue el método de enseñar mostrando, por lo que requiere los valores de la profundidad deseada y el área del objeto (asumiendo que el plano de la cámara y el objeto son paralelos y el objeto es plano). Otras partes del vector de características son invariantes R3, R4. Los autores afirman que se pueden manejar las oclusiones. [32] y [33] se basan en el trabajo descrito en. [29] [31] [32] La principal diferencia es que los autores utilizan una técnica similar a, [16] donde la tarea se divide en dos (en el caso en que las características no sean paralelas al plano de la cámara). Se realiza una rotación virtual para llevar la característica paralela al plano de la cámara. [34] consolida el trabajo realizado por los autores sobre los momentos de la imagen.
En [35], Espiau demostró a partir de un trabajo puramente experimental que el servocontrol visual basado en imágenes (IBVS) es robusto a los errores de calibración. El autor utilizó una cámara sin calibración explícita junto con la correspondencia de puntos y sin estimación de la postura. El artículo analiza el efecto de los errores y la incertidumbre en los términos de la matriz de interacción desde un enfoque experimental. Los objetivos utilizados fueron puntos y se asumió que eran planos.
En [36] se realizó un estudio similar , en el que los autores realizan una evaluación experimental de algunos sistemas servo visuales no calibrados que fueron populares en los años 90. El resultado principal fue la evidencia experimental de la efectividad del control servo visual sobre los métodos de control convencionales. Kyrki et al. [37] analizan los errores de servo para el servo visual basado en la posición y 2-1/2-D. La técnica implica determinar el error en la extracción de la posición de la imagen y propagarla para la estimación de la pose y el control del servo. Los puntos de la imagen se asignan a puntos del mundo a priori para obtener un mapeo (que es básicamente la homografía, aunque no se indica explícitamente en el artículo). Este mapeo se descompone en rotaciones y traslaciones puras. La estimación de la pose se realiza utilizando la técnica estándar de Computer Vision. Los errores de píxel se transforman en la pose. Estos se propagan al controlador. Una observación del análisis muestra que los errores en el plano de la imagen son proporcionales a la profundidad y el error en el eje de profundidad es proporcional al cuadrado de la profundidad. Los errores de medición en el servo visual se han estudiado en profundidad. La mayoría de las funciones de error se relacionan con dos aspectos del servocontrol visual. Uno es el error de estado estable (una vez activado el servocontrol) y dos sobre la estabilidad del bucle de control. Otros errores de servocontrol que han sido de interés son aquellos que surgen de la estimación de la pose y la calibración de la cámara. En [38] los autores amplían el trabajo realizado en [39] al considerar la estabilidad global en presencia de errores de calibración intrínsecos y extrínsecos. [40] proporciona un enfoque para limitar el error de seguimiento de la función de tarea. En [41] los autores utilizan la técnica de servocontrol visual de enseñanza mediante demostración, donde la pose deseada se conoce a priori y el robot se mueve desde una pose dada. El objetivo principal del artículo es determinar el límite superior del error de posicionamiento debido al ruido de la imagen utilizando una técnica de optimización convexa. [42] proporciona una discusión sobre el análisis de estabilidad con respecto a la incertidumbre en las estimaciones de profundidad. Los autores concluyen el artículo con la observación de que para la geometría del objetivo desconocida se requiere una estimación de profundidad más precisa para limitar el error. Muchas de las técnicas de servocontrol visual [21] [22] [43] suponen implícitamente que solo hay un objeto presente en la imagen y que están disponibles las características relevantes para el seguimiento junto con el área del objeto. La mayoría de las técnicas requieren una estimación parcial de la pose o una estimación precisa de la profundidad de la pose actual y deseada.