El servovisual , también conocido como control de robot basado en visión y abreviado VS , es una técnica que utiliza información de retroalimentación extraída de un sensor de visión (retroalimentación visual [1] ) para controlar el movimiento de un robot . Uno de los primeros artículos que habla sobre el servo visual fue el de SRI International Labs en 1979. [2]
Hay dos configuraciones fundamentales del efector final del robot (mano) y la cámara: [4]
Las técnicas de control de Visual Servoing se clasifican en términos generales en los siguientes tipos: [5] [6]
El IBVS fue propuesto por Weiss y Sanderson. [7] La ley de control se basa en el error entre las características actuales y deseadas en el plano de la imagen, y no implica ninguna estimación de la pose del objetivo. Las características pueden ser las coordenadas de características visuales, líneas o momentos de regiones. IBVS tiene dificultades [8] con movimientos de rotación muy grandes, lo que se ha dado en llamar retroceso de cámara. [9]
PBVS es una técnica basada en modelos (con una sola cámara). Esto se debe a que se estima la pose del objeto de interés con respecto a la cámara y luego se emite un comando al controlador del robot, que a su vez controla el robot. En este caso, las características de la imagen también se extraen, pero se utilizan adicionalmente para estimar información 3D ( pose del objeto en el espacio cartesiano), por lo que se trata de servicio en 3D.
Los enfoques híbridos utilizan alguna combinación de servo 2D y 3D. Ha habido algunos enfoques diferentes para el servo híbrido.
La siguiente descripción del trabajo previo se divide en 3 partes.
Los sistemas de servo visual, también llamados servoing, existen desde principios de la década de 1980, [11] aunque el término servo visual en sí no se acuñó hasta 1987. [4] [5] [6] Visual Servoing es, en esencia, un método para Control de robot donde el sensor utilizado es una cámara (sensor visual). El servoing consta principalmente de dos técnicas, [6] una implica el uso de información de la imagen para controlar directamente los grados de libertad (DOF) del robot, lo que se conoce como servoing visual basado en imágenes (IBVS). Mientras que el otro implica la interpretación geométrica de la información extraída de la cámara, como estimar la pose del objetivo y los parámetros de la cámara (suponiendo que se conozca algún modelo básico del objetivo). Existen otras clasificaciones de servos basadas en las variaciones en cada componente de un sistema de servos, [5] por ejemplo, la ubicación de la cámara; los dos tipos son configuraciones ojo en mano y mano-ojo. Según el bucle de control, los dos tipos son bucle abierto de punto final y bucle cerrado de punto final. Según si el control se aplica a las articulaciones (o DOF) directamente o como un comando de posición a un controlador de robot, los dos tipos son servodirecto y mirar y mover dinámico. Siendo uno de los primeros trabajos [12], los autores propusieron un esquema de servo visual jerárquico aplicado al servo basado en imágenes. La técnica se basa en el supuesto de que se puede extraer un buen conjunto de características del objeto de interés (por ejemplo, bordes, esquinas y centroides) y utilizarlo como modelo parcial junto con modelos globales de la escena y el robot. La estrategia de control se aplica a una simulación de un brazo robótico de dos y tres grados de libertad.
Feddema et al. [13] introdujo la idea de generar la trayectoria de la tarea con respecto a la velocidad de la característica. Esto es para garantizar que los sensores no queden ineficaces (deteniendo la retroalimentación) ante ningún movimiento del robot. Los autores suponen que los objetos se conocen a priori (por ejemplo, modelo CAD) y que se pueden extraer todas las características del objeto. El trabajo de Espiau et al. [14] analiza algunas de las cuestiones básicas del servo visual. Las discusiones se concentran en el modelado de la matriz de interacción, la cámara, las características visuales (puntos, líneas, etc.). En [15] se propuso un sistema de servo adaptable con una arquitectura de servo de mirar y mover. El método utilizó flujo óptico junto con SSD para proporcionar una métrica de confianza y un controlador estocástico con filtrado de Kalman para el esquema de control. El sistema supone (en los ejemplos) que el plano de la cámara y el plano de las características son paralelos. [16] analiza un enfoque de control de velocidad utilizando la relación jacobiana s˙ = Jv˙. Además, el autor utiliza el filtrado de Kalman, asumiendo que la posición extraída del objetivo tiene errores inherentes (errores del sensor). Se desarrolla un modelo de la velocidad objetivo y se utiliza como entrada de avance en el circuito de control. Además, menciona la importancia de analizar la discrepancia cinemática, los efectos dinámicos, la repetibilidad, las oscilaciones del tiempo de estabilización y el retraso en la respuesta.
Corke [17] plantea una serie de preguntas muy críticas sobre el servocontrol visual e intenta desarrollar sus implicaciones. El artículo se centra principalmente en la dinámica del servo visual. El autor intenta abordar problemas como el retraso y la estabilidad, al mismo tiempo que habla de rutas de avance en el circuito de control. El artículo también intenta buscar justificación para la generación de trayectorias, la metodología de control de ejes y el desarrollo de métricas de desempeño.
Chaumette en [18] proporciona una buena visión de los dos problemas principales del IBVS. Uno, servir a un mínimo local y segundo, alcanzar una singularidad jacobiana. El autor muestra que los puntos de la imagen por sí solos no constituyen buenas características debido a la aparición de singularidades. El artículo continúa discutiendo las posibles comprobaciones adicionales para evitar singularidades, es decir, números de condición de J_s y Jˆ+_s, para verificar el espacio nulo de ˆ J_s y J^T_s. Un punto principal que destaca el autor es la relación entre los mínimos locales y los movimientos irrealizables de las características de la imagen.
A lo largo de los años se han desarrollado muchas técnicas híbridas. [4] Estos implican calcular la pose parcial/completa de la Geometría Epipolar utilizando múltiples vistas o múltiples cámaras. Los valores se obtienen por estimación directa o mediante un aprendizaje o un esquema estadístico. Mientras que otros han utilizado un enfoque de conmutación que cambia entre basado en imágenes y basado en posición según una función de Lyapnov. [4] Las primeras técnicas híbridas que utilizaban una combinación de enfoques basados en imágenes y en pose (información 2D y 3D) para servomotores requerían un modelo completo o parcial del objeto para extraer la información de pose y utilizaban una variedad de Técnicas para extraer la información de movimiento de la imagen. [19] utilizaron un modelo de movimiento afín del movimiento de la imagen además de un modelo CAD poliédrico aproximado para extraer la pose del objeto con respecto a la cámara para poder realizar un servo sobre el objeto (en las líneas de PBVS).
Servovisual 2-1/2-D desarrollado por Malis et al. [20] es una técnica bien conocida que descompone la información requerida para el servicio en una forma organizada que desacopla rotaciones y traslaciones. Los artículos suponen que la pose deseada se conoce a priori. La información de rotación se obtiene a partir de una estimación de pose parcial, una homografía (esencialmente información 3D) que proporciona un eje de rotación y el ángulo (calculando los valores propios y los vectores propios de la homografía). La información traslacional se obtiene de la imagen directamente mediante el seguimiento de un conjunto de puntos característicos. Las únicas condiciones son que los puntos característicos que se rastrean nunca abandonen el campo de visión y que una estimación de profundidad esté predeterminada mediante alguna técnica fuera de línea. Se ha demostrado que el servo 2-1/2-D es más estable que las técnicas que lo precedieron. Otra observación interesante con esta formulación es que los autores afirman que el jacobiano visual no tendrá singularidades durante los movimientos. La técnica híbrida desarrollada por Corke y Hutchinson, [21] [22] popularmente llamada enfoque porcionado divide el jacobiano visual (o imagen) en movimientos (tanto rotaciones como traslaciones) que relacionan los ejes X e Y y movimientos relacionados con el eje Z. [22] describe la técnica para dividir las columnas del jacobiano visual que corresponden a la traslación y rotación del eje Z (es decir, la tercera y sexta columnas). Se muestra que el enfoque dividido maneja el enigma de Chaumette discutido en [23] Esta técnica requiere una buena estimación de profundidad para funcionar correctamente. [24] describe un enfoque híbrido donde la tarea de servo se divide en dos, a saber, principal y secundaria. La tarea principal es mantener las características de interés dentro del campo de visión. Mientras que la tarea secundaria es marcar un punto de fijación y utilizarlo como referencia para llevar la cámara a la pose deseada. La técnica necesita una estimación de profundidad a partir de un procedimiento fuera de línea. El artículo analiza dos ejemplos en los que se obtienen estimaciones de profundidad a partir de la odometría del robot y asumiendo que todas las características están en un plano. La tarea secundaria se logra utilizando la noción de paralaje. Las características que se rastrean se eligen mediante una inicialización realizada en el primer cuadro, que normalmente son puntos. [25] lleva a cabo una discusión sobre dos aspectos del servo visual, el modelado de características y el seguimiento basado en modelos. La suposición principal que se hace es que el modelo 3D del objeto está disponible. Los autores destacan la noción de que las características ideales deben elegirse de manera que el grado de libertad del movimiento pueda desacoplarse mediante una relación lineal. Los autores también introducen una estimación de la velocidad del objetivo en la matriz de interacción para mejorar el rendimiento del seguimiento. Los resultados se comparan con técnicas de servocontrol bien conocidas, incluso cuando se producen oclusiones.
Esta sección analiza el trabajo realizado en el campo del servo visual. Intentamos rastrear las diversas técnicas en el uso de funciones. La mayor parte del trabajo ha utilizado puntos de imagen como características visuales. La formulación de la matriz de interacción en [5] supone que los puntos de la imagen se utilizan para representar el objetivo. Hay algunos trabajos que se desvían del uso de puntos y utilizan regiones características, líneas, momentos de imagen e invariantes de momento. [26] En [27] , los autores analizan un seguimiento basado en afinidad de las características de la imagen. Las características de la imagen se eligen en función de una medida de discrepancia, que se basa en la deformación que sufren las características. Las características utilizadas fueron parches de textura. Uno de los puntos clave del artículo fue que destacó la necesidad de analizar características para mejorar el servo visual. En [28] los autores analizan la elección de las características de la imagen (la misma cuestión también se analizó en [5] en el contexto del seguimiento). El efecto de la elección de las características de la imagen sobre la ley de control se analiza sólo con respecto al eje de profundidad. Los autores consideran características la distancia entre los puntos característicos y el área de un objeto. Estas características se utilizan en la ley de control con formas ligeramente diferentes para resaltar los efectos sobre el rendimiento. Se observó que se lograba un mejor rendimiento cuando el error del servo era proporcional al cambio en el eje de profundidad. [29] proporciona una de las primeras discusiones sobre el uso de momentos. Los autores proporcionan una nueva formulación de la matriz de interacción utilizando la velocidad de los momentos en la imagen, aunque complicada. Aunque se utilizan los momentos, los momentos son del pequeño cambio en la ubicación de los puntos de contorno con el uso del teorema de Green. El artículo también intenta determinar el conjunto de características (en un plano) de un robot de 6 grados de libertad. En [30] se analiza el uso de momentos de imagen para formular el jacobiano visual. Esta formulación permite desacoplar el DOF según el tipo de momentos elegidos. El caso simple de esta formulación es teóricamente similar al servocontrol 2-1/2-D. [30] La variación temporal de los momentos (m˙ij) se determina utilizando el movimiento entre dos imágenes y el teorema de Green. La relación entre m˙ij y el tornillo de velocidad (v) se da como m˙_ij = L_m_ij v. Esta técnica evita la calibración de la cámara al suponer que los objetos son planos y utilizar una estimación de profundidad. La técnica funciona bien en el caso plano pero tiende a ser complicada en el caso general. La idea básica se basa en el trabajo de [4] en el que se han utilizado las invariantes de momento. [31]La idea clave es encontrar el vector de características que desacople todos los grados de libertad del movimiento. Algunas observaciones realizadas fueron que los momentos centralizados son invariantes para las traducciones 2D. Se desarrolla una forma polinómica complicada para rotaciones 2D. La técnica sigue la enseñanza mostrando, por lo que requiere los valores de profundidad y área del objeto deseados (asumiendo que el plano de la cámara y el objeto son paralelos y el objeto es plano). Otras partes del vector de características son las invariantes R3, R4. Los autores afirman que las oclusiones se pueden tratar. [32] y [33] se basan en el trabajo descrito en. [29] [31] [32] La principal diferencia es que los autores utilizan una técnica similar a [16] donde la tarea se divide en dos (en (el caso en el que las características no son paralelas al plano de la cámara). Se realiza una rotación virtual para llevar la imagen paralela al plano de la cámara. [34] consolida el trabajo realizado por los autores sobre los momentos de la imagen.
Espiau en [35] demostró a partir de un trabajo puramente experimental que el servo visual basado en imágenes (IBVS) es resistente a los errores de calibración. El autor utilizó una cámara sin calibración explícita junto con coincidencia de puntos y sin estimación de pose. El artículo analiza el efecto de los errores y la incertidumbre sobre los términos de la matriz de interacción desde un enfoque experimental. Los objetivos utilizados fueron puntos y se supuso que eran planos.
Se realizó un estudio similar en [36] donde los autores llevan a cabo una evaluación experimental de algunos servosistemas visuales no calibrados que fueron populares en los años 90. El principal resultado fue la evidencia experimental de la eficacia del servocontrol visual sobre los métodos de control convencionales. Kyrki et al. [37] analizan los errores de servo para el servo basado en la posición y visual 2-1/2-D. La técnica implica determinar el error al extraer la posición de la imagen y propagarla para estimar la postura y controlar el servo. Los puntos de la imagen se asignan a puntos del mundo a priori para obtener un mapeo (que es básicamente la homografía, aunque no se indica explícitamente en el artículo). Este mapeo se divide en rotaciones y traslaciones puras. La estimación de la pose se realiza utilizando una técnica estándar de Computer Vision. Los errores de píxeles se transforman en la pose. Estos se están propagando al controlador. Una observación del análisis muestra que los errores en el plano de la imagen son proporcionales a la profundidad y el error en el eje de profundidad es proporcional al cuadrado de la profundidad. Se han estudiado exhaustivamente los errores de medición en el servocontrol visual. La mayoría de las funciones de error se relacionan con dos aspectos del servo visual. Uno es el error de estado estable (una vez activado) y dos sobre la estabilidad del bucle de control. Otros errores de servo que han sido de interés son los que surgen de la estimación de pose y la calibración de la cámara. En [38] los autores amplían el trabajo realizado en [39] al considerar la estabilidad global en presencia de errores de calibración intrínsecos y extrínsecos. [40] proporciona un enfoque para limitar el error de seguimiento de la función de tarea. En [41] los autores utilizan la técnica de enseñanza mediante demostración visual. Donde la pose deseada se conoce a priori y el robot se mueve desde una pose determinada. El objetivo principal del artículo es determinar el límite superior del error de posicionamiento debido al ruido de la imagen utilizando una técnica de optimización convexa. [42] proporciona una discusión sobre el análisis de estabilidad con respecto a las estimaciones de incertidumbre en profundidad. Los autores concluyen el artículo con la observación de que para una geometría de objetivo desconocida se requiere una estimación de profundidad más precisa para limitar el error. Muchas de las técnicas de servo visual [21] [22] [43] asumen implícitamente que solo hay un objeto presente en la imagen y que la característica relevante para el seguimiento junto con el área del objeto está disponible. La mayoría de las técnicas requieren una estimación parcial de la pose o una estimación precisa de la profundidad de la pose actual y deseada.