stringtranslate.com

Estructura a partir del movimiento

La estructura a partir del movimiento ( SfM ) [1] es una técnica de obtención de imágenes de rango fotogramétrico para estimar estructuras tridimensionales a partir de secuencias de imágenes bidimensionales que pueden estar acopladas a señales de movimiento locales . Se estudia en los campos de la visión por computadora y la percepción visual .

Principio

Modelo digital de superficie del sitio de construcción del intercambiador de autopistas
Fotografía real x SfM con color de textura x SfM con sombreador simple. Realizada con la interfaz gráfica de usuario de la caja de herramientas de fotogrametría de Python y renderizada en Blender con Cycles.
Modelo digital tridimensional de la superficie del aeródromo de Bezmiechowa extraído de los datos recopilados durante el vuelo de 30 minutos del UAV Pteryx

Los seres humanos percibimos una gran cantidad de información sobre la estructura tridimensional de nuestro entorno al movernos a su alrededor. Cuando el observador se mueve, los objetos que lo rodean se mueven en distintas cantidades según la distancia a la que se encuentren con respecto al observador. Esto se conoce como paralaje de movimiento y, a partir de esta información de profundidad, se puede utilizar para generar una representación tridimensional precisa del mundo que lo rodea. [2]

Encontrar la estructura a partir del movimiento presenta un problema similar al de encontrar la estructura a partir de la visión estereoscópica . En ambos casos, es necesario encontrar la correspondencia entre las imágenes y la reconstrucción del objeto 3D.

Para encontrar correspondencia entre imágenes, se rastrean características como los puntos de esquina (bordes con gradientes en múltiples direcciones) de una imagen a la siguiente. Uno de los detectores de características más utilizados es la transformada de características invariante de escala (SIFT). Utiliza los máximos de una pirámide de diferencia de Gaussianas (DOG) como características. El primer paso en SIFT es encontrar una dirección de gradiente dominante. Para que sea invariante a la rotación, el descriptor se rota para adaptarse a esta orientación. [3] Otro detector de características común es el SURF ( características robustas aceleradas ). [4] En SURF, el DOG se reemplaza con un detector de blobs basado en matriz Hessiana . Además, en lugar de evaluar los histogramas de gradiente, SURF calcula las sumas de los componentes del gradiente y las sumas de sus valores absolutos. [5] Su uso de imágenes integrales permite detectar las características extremadamente rápido con una alta tasa de detección. [6] Por lo tanto, en comparación con SIFT, SURF es un detector de características más rápido con el inconveniente de una menor precisión en las posiciones de las características. [5] Otro tipo de característica que recientemente se ha vuelto práctica para la estructura a partir del movimiento son las curvas generales (por ejemplo, localmente un borde con gradientes en una dirección), parte de una tecnología conocida como SfM sin puntos , [7] [8] útil cuando las características puntuales son insuficientes, común en entornos creados por el hombre. [9]

Las características detectadas de todas las imágenes se compararán. Uno de los algoritmos de comparación que rastrea las características de una imagen a otra es el rastreador Lucas-Kanade . [10]

A veces, algunas de las características coincidentes no coinciden correctamente. Por eso, también se deben filtrar las coincidencias. RANSAC (consenso de muestra aleatoria) es el algoritmo que se utiliza habitualmente para eliminar las correspondencias atípicas. En el artículo de Fischler y Bolles, RANSAC se utiliza para resolver el problema de determinación de la ubicación (LDP), donde el objetivo es determinar los puntos en el espacio que se proyectan en una imagen en un conjunto de puntos de referencia con ubicaciones conocidas. [11]

Las trayectorias de las características a lo largo del tiempo se utilizan luego para reconstruir sus posiciones 3D y el movimiento de la cámara. [12] Una alternativa la ofrecen los denominados enfoques directos, en los que la información geométrica (estructura 3D y movimiento de la cámara) se estima directamente a partir de las imágenes, sin abstracción intermedia de características o esquinas. [13]

Existen varios enfoques para la estructuración a partir del movimiento. En SfM incremental, [14] se resuelven las poses de las cámaras y se agregan una por una a la colección. En SfM global, [15] [16] se resuelven las poses de todas las cámaras al mismo tiempo. Un enfoque algo intermedio es SfM fuera del núcleo , donde se calculan varias reconstrucciones parciales que luego se integran en una solución global.

Aplicaciones

Geociencias

La fotogrametría de estructura a partir del movimiento con vista estereoscópica multivista proporciona modelos de relieve a hiperescala utilizando imágenes adquiridas de una gama de cámaras digitales y, opcionalmente, una red de puntos de control terrestre. La técnica no está limitada en frecuencia temporal y puede proporcionar datos de nubes de puntos comparables en densidad y precisión a los generados por escaneo láser terrestre y aéreo a una fracción del costo. [17] [18] [19] La estructura a partir del movimiento también es útil en entornos remotos o accidentados donde el escaneo láser terrestre está limitado por la portabilidad del equipo y el escaneo láser aéreo está limitado por la rugosidad del terreno que causa pérdida de datos y escorzo de la imagen. La técnica se ha aplicado en muchos entornos, como ríos, [20] tierras baldías, [21] costas arenosas, [22] [23] zonas de fallas, [24] deslizamientos de tierra, [25] [26] y entornos de arrecifes de coral. [27] SfM también se ha aplicado con éxito para la evaluación de cambios [28] y grandes volúmenes de acumulación de madera [29] y porosidad [30] en sistemas fluviales, la caracterización de masas rocosas mediante la determinación de algunas propiedades como la orientación, persistencia, etc. de discontinuidades. [31] [32] así como para la evaluación de la estabilidad de pendientes de roca cortada. [33] Se puede utilizar una gama completa de cámaras digitales, incluidas las SLR digitales, las cámaras digitales compactas e incluso los teléfonos inteligentes. Sin embargo, en general, se obtendrán datos de mayor precisión con cámaras más caras, que incluyen lentes de mayor calidad óptica. Por lo tanto, la técnica ofrece oportunidades interesantes para caracterizar la topografía de la superficie con un detalle sin precedentes y, con datos multitemporales, para detectar cambios de elevación, posición y volumétricos que son sintomáticos de los procesos de la superficie terrestre. La estructura a partir del movimiento se puede colocar en el contexto de otros métodos de topografía digital.

Herencia cultural

El patrimonio cultural está presente en todas partes. Su control estructural, documentación y conservación es uno de los principales deberes de la humanidad ( UNESCO ). Desde este punto de vista, el SfM se utiliza para estimar adecuadamente las situaciones, así como los esfuerzos y costos de planificación y mantenimiento, control y restauración. Debido a que a menudo existen serias limitaciones relacionadas con la accesibilidad del sitio y la imposibilidad de instalar pilares de topografía invasivos que no permiten el uso de rutinas de topografía tradicionales (como estaciones totales), el SfM proporciona un enfoque no invasivo para la estructura, sin la interacción directa entre la estructura y cualquier operador. El uso es preciso ya que solo se necesitan consideraciones cualitativas. Es lo suficientemente rápido para responder a las necesidades de gestión inmediatas del monumento. [34] La primera fase operativa es una preparación precisa del levantamiento fotogramétrico donde se establece la relación entre la mejor distancia del objeto, la longitud focal, la distancia de muestreo del suelo (GSD) y la resolución del sensor. Con esta información, las adquisiciones fotográficas programadas deben realizarse utilizando una superposición vertical de al menos el 60% (figura 02). [35]

Además, la fotogrametría de estructura a partir del movimiento representa una metodología no invasiva, altamente flexible y de bajo costo para digitalizar documentos históricos. [36]

Véase también

Referencias

  1. ^ S. Ullman (1979). "La interpretación de la estructura a partir del movimiento" (PDF) . Actas de la Royal Society de Londres . 203 (1153): 405–426. Bibcode :1979RSPSB.203..405U. doi :10.1098/rspb.1979.0006. hdl : 1721.1/6298 . PMID  34162. S2CID  11995230.
  2. ^ Linda G. Shapiro ; George C. Stockman (2001). Visión artificial . Prentice Hall. ISBN 978-0-13-030796-5.
  3. ^ DG Lowe (2004). "Características distintivas de la imagen a partir de puntos clave invariantes en la escala". Revista internacional de visión artificial . 60 (2): 91–110. CiteSeerX 10.1.1.73.2924 . doi :10.1023/b:visi.0000029664.99615.94. S2CID  221242327. 
  4. ^ H. Bay; T. Tuytelaars y L. Van Gool (2006). "Surf: características robustas aceleradas". IX Conferencia Europea sobre Visión por Computador .
  5. ^ por K. Häming y G. Peters (2010). "El proceso de reconstrucción de la estructura a partir del movimiento: un estudio centrado en secuencias de imágenes cortas". Kybernetika . 46 (5): 926–937.
  6. ^ Viola, P.; Jones, M. (2001). "Detección rápida de objetos mediante una cascada potenciada de características simples". Actas de la Conferencia de la IEEE Computer Society de 2001 sobre visión artificial y reconocimiento de patrones. CVPR 2001. Vol. 1. Kauai, HI, EE. UU.: IEEE Comput. Soc. pp. I–511–I-518. doi :10.1109/CVPR.2001.990517. ISBN 978-0-7695-1272-3.S2CID2715202  .​
  7. ^ Nurutdinova, Andrew; Fitzgibbon, Andrew (2015). "Hacia una estructura sin sentido a partir del movimiento: reconstrucción 3D y parámetros de cámara a partir de curvas 3D generales" (PDF) . 2015 IEEE International Conference on Computer Vision (ICCV) . págs. 2363–2371. doi :10.1109/ICCV.2015.272. ISBN. 978-1-4673-8391-2.S2CID 9120123  .
  8. ^ Fabbri, Ricardo; Giblin, Peter; Kimia, Benjamin (2012). "Estimación de la posición de la cámara mediante geometría diferencial de curvas de primer orden". Visión artificial – ECCV 2012 (PDF) . Apuntes de clase en informática. Vol. 7575. págs. 231–244. doi :10.1007/978-3-642-33765-9_17. ISBN 978-3-642-33764-2. Número de identificación del sujeto  15402824.
  9. ^ Apple, equipo ARKIT (2018). "Entender el seguimiento y la detección de ARKit". WWDC .
  10. ^ BD Lucas y T. Kanade. "Una técnica iterativa de registro de imágenes con aplicación a la visión estereoscópica". Ijcai81 .
  11. ^ MA Fischler y RC Bolles (1981). "Consenso de muestras aleatorias: un paradigma para el ajuste de modelos con aplicaciones al análisis de imágenes y la cartografía automatizada". Commun. ACM . 24 (6): 381–395. doi : 10.1145/358669.358692 . S2CID  972888.
  12. ^ F. Dellaert; S. Seitz; C. Thorpe y S. Thrun (2000). "Estructura a partir del movimiento sin correspondencia" (PDF) . Conferencia de la IEEE Computer Society sobre visión artificial y reconocimiento de patrones .
  13. ^ Engel, Jakob; Schöps, Thomas; Cremers, Daniel (2014). "LSD-SLAM: SLAM monocular directo a gran escala". Conferencia Europea sobre Visión por Computador (ECCV) 2014 (PDF) .
  14. ^ JL Schönberger y JM Frahm (2016). "Revisión de la estructura a partir del movimiento" (PDF) . Conferencia de la IEEE Computer Society sobre visión artificial y reconocimiento de patrones .
  15. ^ C. Tomasi y T. Kanade (1992). "Forma y movimiento de flujos de imágenes bajo ortografía: un método de factorización". Revista Internacional de Visión por Computador . 9 (2): 137–154. CiteSeerX 10.1.1.131.9807 . doi :10.1007/BF00129684. S2CID  2931825. 
  16. ^ VM Govindu (2001). "Combinación de restricciones de dos vistas para la estimación del movimiento". Actas de la Conferencia de la IEEE Computer Society de 2001 sobre visión artificial y reconocimiento de patrones. CVPR 2001. Vol. 2. págs. II-218–II-225. doi :10.1109/CVPR.2001.990963. ISBN 0-7695-1272-0.S2CID8252027  .​
  17. ^ Westoby, MJ; Brasington, J.; Glasser, NF; Hambrey, MJ; Reynolds, JM (15 de diciembre de 2012). "Fotogrametría 'estructura a partir del movimiento': una herramienta eficaz y de bajo coste para aplicaciones geocientíficas". Geomorfología . 179 : 300–314. Bibcode :2012Geomo.179..300W. doi :10.1016/j.geomorph.2012.08.021. hdl : 2160/11389 . S2CID  33695861.
  18. ^ James, MR; Robson, S. (1 de septiembre de 2012). "Reconstrucción sencilla de superficies 3D y topografía con una cámara: precisión y aplicación en geociencias" (PDF) . Journal of Geophysical Research: Earth Surface . 117 (F3): F03017. Bibcode :2012JGRF..117.3017J. doi : 10.1029/2011jf002289 . ISSN  2156-2202.
  19. ^ Fonstad, Mark A.; Dietrich, James T.; Courville, Brittany C.; Jensen, Jennifer L.; Carbonneau, Patrice E. (30 de marzo de 2013). "Estructura topográfica a partir del movimiento: un nuevo desarrollo en la medición fotogramétrica" ​​(PDF) . Procesos y formas del terreno en la superficie terrestre . 38 (4): 421–430. Bibcode :2013ESPL...38..421F. doi :10.1002/esp.3366. ISSN  1096-9837. S2CID  15601931.
  20. ^ Javernick, L.; Brasington, J.; Caruso, B. (2014). "Modelado de la topografía de ríos trenzados poco profundos mediante fotogrametría de estructura a partir del movimiento". Geomorfología . 213 : 166–182. Código Bibliográfico :2014Geomo.213..166J. doi :10.1016/j.geomorph.2014.01.006.
  21. ^ Smith, Mark William; Vericat, Damià (30 de septiembre de 2015). "De parcelas experimentales a paisajes experimentales: topografía, erosión y deposición en badlands subhúmedos a partir de fotogrametría de estructura a partir del movimiento" (PDF) . Earth Surface Processes and Landforms . 40 (12): 1656–1671. Bibcode :2015ESPL...40.1656S. doi :10.1002/esp.3747. ISSN  1096-9837. S2CID  128402144.
  22. ^ Goldstein, Evan B; Oliver, Amber R; deVries, Elsemarie; Moore, Laura J; Jass, Theo (22 de octubre de 2015). "Requisitos de puntos de control terrestre para topografía derivada de estructura a partir del movimiento en entornos costeros de baja pendiente". PeerJ PrePrints . doi : 10.7287/peerj.preprints.1444v1 . ISSN  2167-9843.
  23. ^ Mancini, Francesco; Dubbini, Marco; Gattelli, Mario; Stecchi, Francesco; Fabbri, Stefano; Gabbianelli, Giovanni (9 de diciembre de 2013). "Uso de vehículos aéreos no tripulados (UAV) para la reconstrucción de topografía de alta resolución: el enfoque de estructura a partir del movimiento en entornos costeros". Teledetección . 5 (12): 6880–6898. Bibcode :2013RemS....5.6880M. doi : 10.3390/rs5126880 . hdl : 11380/1055514 .
  24. ^ Johnson, Kendra; Nissen, Edwin; Saripalli, Srikanth; Arrowsmith, J. Ramón; McGarey, Patrick; Scharer, Katherine; Williams, Patrick; Blisniuk, Kimberly (1 de octubre de 2014). "Mapeo rápido de la topografía de zonas de fallas ultrafinas con estructura a partir del movimiento". Geosphere . 10 (5): 969–986. Bibcode :2014Geosp..10..969J. doi : 10.1130/GES01017.1 .
  25. ^ Del Soldato, M.; Riquelme, A.; Bianchini, S.; Tomàs, R.; Di Martire, D.; De Vita, P.; Moretti, S.; Calcaterra, D. (6 de junio de 2018). "Integración de datos de múltiples fuentes para investigar un siglo de evolución del deslizamiento de Agnone (Molise, sur de Italia)". Deslizamientos de tierra . 15 (11): 2113–2128. Bibcode :2018Lands..15.2113D. doi : 10.1007/s10346-018-1015-z . hdl : 2158/1131012 . ISSN  1612-510X.
  26. ^ Tomás, Roberto; Pinheiro, Marisa; Pinto, Pedro; Pereira, Eduardo; Miranda, Tiago (agosto de 2023). "Análisis preliminar de los mecanismos, características y causas de un reciente deslizamiento catastrófico controlado estructuralmente de una roca plana en Esposende (norte de Portugal)". Deslizamientos de tierra . 20 (8): 1657–1665. Bibcode :2023Lands..20.1657T. doi :10.1007/s10346-023-02082-y. hdl : 1822/88576 . ISSN  1612-510X.
  27. ^ Bryson, Mitch; Duce, Stephanie; Harris, Dan; Webster, Jody M.; Thompson, Alisha; Vila-Concejo, Ana; Williams, Stefan B. (2016). "Cambios geomorfológicos de un cayo de guijarros de coral medidos utilizando fotografía aérea con cometa". Geomorfología . 270 : 1–8. Código Bibliográfico :2016Geomo.270....1B. doi :10.1016/j.geomorph.2016.06.018.
  28. ^ Conesa-García, Carmelo; Puig-Mengual, Carlos; Riquelme, Adrián; Tomás, Roberto; Martínez-Capel, Francisco; García-Lorenzo, Rafael; Pastor, José L.; Pérez-Cutillas, Pedro; Martínez-Salvador, Alberto; Cano-González, Miguel (01-02-2022). "Cambios en la potencia de la corriente y ajustes morfológicos a escala de evento y alta resolución espacial a lo largo de un canal efímero de lecho de grava". Geomorfología . 398 : 108053. Código bibliográfico : 2022Geomo.39808053C. doi : 10.1016/j.geomorph.2021.108053. hdl : 10251/190056 . ISSN  0169-555X.
  29. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (1 de diciembre de 2019). "Uso de la fotogrametría de estructura a partir del movimiento para evaluar grandes acumulaciones de madera (LW) en el campo". Geomorfología . 346 : 106851. Bibcode :2019Geomo.34606851S. doi :10.1016/j.geomorph.2019.106851. S2CID  202908775.
  30. ^ Spreitzer, Gabriel; Tunnicliffe, Jon; Friedrich, Heide (2020). "Mapeo y evaluación de la acumulación 3D de madera de gran tamaño (LW) utilizando la estructura de la fotogrametría de movimiento en el laboratorio". Journal of Hydrology . 581 : 124430. Bibcode :2020JHyd..58124430S. doi :10.1016/j.jhydrol.2019.124430. S2CID  209465940.
  31. ^ Riquelme, A.; Cano, M.; Tomás, R.; Abellán, A. (2017-01-01). "Identificación de conjuntos de discontinuidades en pendientes rocosas a partir de nubes de puntos fotogramétricas y de escáner láser: un análisis comparativo". Procedia Engineering . 191 : 838–845. doi : 10.1016/j.proeng.2017.05.251 . hdl : 10045/67538 . ISSN  1877-7058.
  32. ^ Jordá Bordehore, Luis; Riquelme, Adrian; Cano, Miguel; Tomás, Roberto (2017-09-01). "Comparación de la recolección manual y remota de discontinuidades de campo utilizadas en la evaluación de la estabilidad cinemática de taludes rocosos fallidos" (PDF) . Revista Internacional de Mecánica de Rocas y Ciencias Mineras . 97 : 24–32. Bibcode :2017IJRMM..97...24J. doi :10.1016/j.ijrmms.2017.06.004. hdl : 10045/67528 . ISSN  1365-1609.
  33. ^ Tomás, R.; Riquelme, A.; Canó, M.; Pastor, JL; Pagán, JI; Asensio, JL; Ruffo, M. (23 de junio de 2020). "Evaluación de la estabilidad de taludes rocosos a partir de nubes de puntos 3D obtenidas con un vehículo aéreo no tripulado". Revista de Teledetección (55): 1. doi :10.4995/raet.2020.13168. hdl : 10045/107612 . ISSN  1988-8740.
  34. ^ Guidi. G.; Beraldin, JA; Atzeni, C. Modelado 3D de alta precisión del patrimonio cultural: la digitalización de Donatello. IEEE Trans. Image Process. 2004, 13, 370–380
  35. ^ Kraus, K., 2007. Fotogrametría: geometría a partir de imágenes y escaneos láser. Walter de Gruyter, 459 pp. ISBN 978-3-11-019007-6 
  36. ^ Brandolini, Filippo; Patrucco, Giacomo (septiembre de 2019). "Fotogrametría de estructura a partir del movimiento (SFM) como metodología no invasiva para digitalizar documentos históricos: ¿un enfoque altamente flexible y de bajo costo?". Patrimonio . 2 (3): 2124–2136. doi : 10.3390/heritage2030128 . hdl : 2434/666172 .

Lectura adicional