stringtranslate.com

Imágenes de súper resolución

La obtención de imágenes de superresolución ( SR ) es una clase de técnicas que mejoran (aumentan) la resolución de un sistema de obtención de imágenes . En la SR óptica se supera el límite de difracción de los sistemas, mientras que en la SR geométrica se mejora la resolución de los sensores de obtención de imágenes digitales .

En algunas aplicaciones de imágenes de radar y sonar (por ejemplo, imágenes por resonancia magnética (IRM), tomografía computarizada de alta resolución ), se emplean métodos basados ​​en descomposición del subespacio (por ejemplo, MUSIC [1] ) y algoritmos basados ​​en detección comprimida (por ejemplo, SAMV [2] ) para lograr SR sobre el algoritmo de periodograma estándar .

Las técnicas de imágenes de súper resolución se utilizan en el procesamiento general de imágenes y en la microscopía de súper resolución .

Conceptos básicos

Dado que algunas de las ideas en torno a la superresolución plantean cuestiones fundamentales, es necesario examinar desde el principio los principios físicos y teóricos de la información pertinentes:

Los logros técnicos en la mejora del rendimiento de los dispositivos de formación y detección de imágenes, ahora clasificados como de súper resolución, se aprovechan al máximo, pero siempre dentro de los límites impuestos por las leyes de la física y la teoría de la información.

Técnicas

Superresolución óptica o difractiva

Sustitución de bandas de frecuencia espacial: aunque el ancho de banda permitido por la difracción es fijo, se puede ubicar en cualquier parte del espectro de frecuencia espacial. La iluminación de campo oscuro en microscopía es un ejemplo. Véase también síntesis de apertura .

La técnica de "iluminación estructurada" de superresolución está relacionada con los patrones de muaré . El objetivo, una banda de franjas finas (fila superior), está más allá del límite de difracción. Cuando se superpone artificialmente una banda de franjas resolubles algo más gruesas (segunda fila), la combinación (tercera fila) presenta componentes de muaré que están dentro del límite de difracción y, por lo tanto, contenidos en la imagen (fila inferior), lo que permite inferir la presencia de las franjas finas aunque no estén representadas en la imagen.

Multiplexación de bandas de frecuencia espacial

Se forma una imagen utilizando la banda de paso normal del dispositivo óptico. Luego, se superpone sobre el objetivo una estructura de luz conocida, por ejemplo, un conjunto de franjas de luz que ni siquiera necesitan estar dentro de la banda de paso. [8] [9] La imagen ahora contiene componentes resultantes de la combinación del objetivo y la estructura de luz superpuesta, por ejemplo, franjas de muaré , y lleva información sobre el detalle del objetivo que la iluminación simple no estructurada no lleva. Sin embargo, los componentes "superresueltos" necesitan desenredarse para ser revelados. Para ver un ejemplo, consulte la iluminación estructurada (figura a la izquierda).

Uso de múltiples parámetros dentro del límite de difracción tradicional

Si un objetivo no tiene propiedades especiales de polarización o longitud de onda, se pueden utilizar dos estados de polarización o regiones de longitud de onda no superpuestas para codificar los detalles del objetivo, uno en una banda de frecuencia espacial dentro del límite de corte y el otro más allá de él. Ambos utilizarían la transmisión de banda de paso normal, pero luego se decodificarían por separado para reconstruir la estructura del objetivo con una resolución extendida.

Sondeo de perturbaciones electromagnéticas de campo cercano

El debate habitual sobre la superresolución implicaba la obtención de imágenes convencionales de un objeto mediante un sistema óptico. Pero la tecnología moderna permite investigar la perturbación electromagnética dentro de distancias moleculares de la fuente [6] , lo que tiene propiedades de resolución superiores; véase también las ondas evanescentes y el desarrollo de la nueva superlente .

Súper resolución geométrica o de procesamiento de imágenes

En comparación con una única imagen alterada por el ruido durante su adquisición o transmisión (izquierda), la relación señal/ruido se mejora mediante la combinación adecuada de varias imágenes obtenidas por separado (derecha). Esto se puede lograr solo dentro de la capacidad de resolución intrínseca del proceso de obtención de imágenes para revelar tal detalle.

Reducción de ruido de imágenes con exposición múltiple

Cuando una imagen se degrada por el ruido, puede haber más detalles en el promedio de muchas exposiciones, incluso dentro del límite de difracción. Vea el ejemplo a la derecha.

Desenfoque de un solo fotograma

Los defectos conocidos en una situación de imagen dada, como el desenfoque o las aberraciones , a veces se pueden mitigar total o parcialmente mediante un filtrado de frecuencia espacial adecuado incluso de una sola imagen. Todos estos procedimientos se mantienen dentro de la banda de paso obligatoria de difracción y no la extienden.

Ambas características se extienden sobre 3 píxeles, pero en diferentes cantidades, lo que permite localizarlas con una precisión superior a la dimensión del píxel.

Localización de imágenes de subpíxeles

La ubicación de una fuente única puede determinarse calculando el "centro de gravedad" ( centroide ) de la distribución de luz que se extiende sobre varios píxeles adyacentes (ver figura a la izquierda). Siempre que haya suficiente luz, esto puede lograrse con precisión arbitraria, mucho mejor que el ancho de píxel del aparato de detección y el límite de resolución para la decisión de si la fuente es simple o doble. Esta técnica, que requiere la presuposición de que toda la luz proviene de una sola fuente, está en la base de lo que se ha conocido como microscopía de superresolución , por ejemplo, la microscopía de reconstrucción óptica estocástica (STORM), donde las sondas fluorescentes unidas a moléculas brindan información de distancia a escala nanométrica . También es el mecanismo subyacente a la hiperagudeza visual . [11]

Inducción bayesiana más allá del límite de difracción tradicional

Se puede saber que algunas características de los objetos, aunque estén más allá del límite de difracción, están asociadas con otras características de los objetos que están dentro de los límites y, por lo tanto, contenidas en la imagen. Entonces se pueden sacar conclusiones, utilizando métodos estadísticos, de los datos de imagen disponibles sobre la presencia del objeto completo. [12] El ejemplo clásico es la propuesta de Toraldo di Francia [13] de juzgar si una imagen es la de una estrella simple o doble determinando si su ancho excede la dispersión de una estrella simple. Esto se puede lograr en separaciones muy por debajo de los límites de resolución clásicos y requiere la limitación previa a la elección "¿simple o doble?".

El enfoque puede tomar la forma de extrapolar la imagen en el dominio de la frecuencia, asumiendo que el objeto es una función analítica y que podemos conocer exactamente los valores de la función en algún intervalo . Este método está severamente limitado por el ruido siempre presente en los sistemas de imágenes digitales, pero puede funcionar para radar , astronomía , microscopía o imágenes por resonancia magnética . [14] Más recientemente, se ha propuesto un algoritmo rápido de superresolución de imagen única basado en una solución de forma cerrada a los problemas y se ha demostrado que acelera significativamente la mayoría de los métodos de superresolución bayesianos existentes. [15]

Alias

Los algoritmos de reconstrucción SR geométrica son posibles si y solo si las imágenes de baja resolución de entrada han sido submuestreadas y, por lo tanto, contienen aliasing . Debido a este aliasing, el contenido de alta frecuencia de la imagen de reconstrucción deseada se integra en el contenido de baja frecuencia de cada una de las imágenes observadas. Dado un número suficiente de imágenes de observación, y si el conjunto de observaciones varía en su fase (es decir, si las imágenes de la escena se desplazan en una cantidad de subpíxeles), entonces la información de fase se puede utilizar para separar el contenido de alta frecuencia aliasing del contenido de baja frecuencia real, y la imagen de resolución completa se puede reconstruir con precisión. [16]

En la práctica, este enfoque basado en la frecuencia no se utiliza para la reconstrucción, pero incluso en el caso de enfoques espaciales (por ejemplo, fusión de desplazamiento y adición [17] ), la presencia de aliasing sigue siendo una condición necesaria para la reconstrucción de SR.

Implementaciones técnicas

Existen muchas variantes de SR, tanto de un solo cuadro como de varios cuadros. La SR de varios cuadros utiliza los cambios de subpíxeles entre varias imágenes de baja resolución de la misma escena. Crea una imagen de resolución mejorada fusionando información de todas las imágenes de baja resolución, y las imágenes de mayor resolución creadas son mejores descripciones de la escena. Los métodos de SR de un solo cuadro intentan ampliar la imagen sin producir borrosidad. Estos métodos utilizan otras partes de las imágenes de baja resolución, u otras imágenes no relacionadas, para adivinar cómo debería verse la imagen de alta resolución. Los algoritmos también se pueden dividir por su dominio: dominio de frecuencia o dominio espacial . Originalmente, los métodos de superresolución funcionaban bien solo en imágenes en escala de grises, [18] pero los investigadores han encontrado métodos para adaptarlos a imágenes de cámaras en color. [17] Recientemente, también se ha demostrado el uso de superresolución para datos 3D. [19]

Investigación

Hay investigaciones prometedoras sobre el uso de redes convolucionales profundas para lograr una superresolución. [20] En particular, se ha demostrado un trabajo que muestra la transformación de una imagen de granos de polen en un microscopio electrónico de barrido de 1500x mediante esta técnica. [21] Si bien esta técnica puede aumentar el contenido de información de una imagen, no hay garantía de que las características ampliadas existan en la imagen original y los ampliadores de escala convolucionales profundos no deben usarse en aplicaciones analíticas con entradas ambiguas. [22] [23] Estos métodos pueden alucinar las características de la imagen, lo que puede hacer que no sean seguros para uso médico. [24]

Véase también

Referencias

  1. ^ Schmidt, RO, "Ubicación de múltiples emisores y estimación de parámetros de señal", IEEE Trans. Antennas Propagation, vol. AP-34 (marzo de 1986), págs. 276-280.
  2. ^ Abeida, Habti; Zhang, Qilin; Li, Jian ; Merabtine, Nadjim (2013). "Enfoques iterativos dispersos asintóticos basados ​​en varianza mínima para procesamiento de matrices" (PDF) . IEEE Transactions on Signal Processing . 61 (4): 933–944. arXiv : 1802.03070 . Bibcode :2013ITSP...61..933A. doi :10.1109/tsp.2012.2231676. ISSN  1053-587X. S2CID  16276001.
  3. ^ Born M, Wolf E, Principios de óptica , Cambridge Univ. Press, cualquier edición
  4. ^ Fox M, 2007 Óptica cuántica Oxford
  5. ^ Zalevsky Z, Mendlovic D. 2003 Superresolución óptica Springer
  6. ^ ab Betzig, E; Trautman, JK (1992). "Óptica de campo cercano: microscopía, espectroscopía y modificación de superficies más allá del límite de difracción". Science . 257 (5067): 189–195. Bibcode :1992Sci...257..189B. doi :10.1126/science.257.5067.189. PMID  17794749. S2CID  38041885.
  7. ^ Lukosz, W., 1966. Sistemas ópticos con poder de resolución que excede el límite clásico. J. opt. soc. Am. 56, 1463–1472.
  8. ^ ab Guerra, John M. (26 de junio de 1995). "Superresolución mediante iluminación por ondas evanescentes generadas por difracción". Applied Physics Letters . 66 (26): 3555–3557. Bibcode :1995ApPhL..66.3555G. doi :10.1063/1.113814. ISSN  0003-6951.
  9. ^ ab Gustaffsson, M., 2000. Superar el límite de resolución lateral por un factor de dos utilizando microscopía de iluminación estructurada. J. Microscopy 198, 82–87.
  10. ^ Cox, IJ, Sheppard, CJR, 1986. Capacidad de información y resolución en un sistema óptico. J.opt. Soc. Am. A 3, 1152–1158
  11. ^ Westheimer, G (2012). "Superresolución óptica e hiperagudeza visual". Prog Retin Eye Res . 31 (5): 467–80. doi : 10.1016/j.preteyeres.2012.05.001 . PMID:  22634484.
  12. ^ Harris, JL, 1964. Poder de resolución y toma de decisiones. J. opt. soc. Am. 54, 606–611.
  13. ^ Toraldo di Francia, G., 1955. Poder resolutivo e información. J. optar. soc. Soy. 45, 497–501.
  14. ^ D. Poot, B. Jeurissen, Y. Bastiaensen, J. Veraart, W. Van Hecke, PM Parizel y J. Sijbers, "Superresolución para imágenes de tensor de difusión multicorte", Resonancia magnética en medicina, (2012)
  15. ^ N. Zhao, Q. Wei, A. Basarab, N. Dobigeon, D. Kouamé y JY. Tourneret, "Superresolución rápida de una sola imagen utilizando una nueva solución analítica para problemas ℓ 2 − ℓ 2 {\displaystyle \ell _{2}-\ell _{2}}", IEEE Trans. Image Process., 2016, próxima a aparecer.
  16. ^ J. Simpkins, RL Stevenson, "Introducción a la obtención de imágenes con súper resolución". Óptica matemática: métodos clásicos, cuánticos y computacionales, Ed. V. Lakshminarayanan, M. Calvo y T. Alieva. CRC Press, 2012. 539-564.
  17. ^ ab S. Farsiu, D. Robinson, M. Elad y P. Milanfar, "Superresolución multifotograma rápida y robusta", IEEE Transactions on Image Processing, vol. 13, núm. 10, págs. 1327–1344, octubre de 2004.
  18. ^ P. Cheeseman, B. Kanefsky, R. Kraft y J. Stutz, 1994
  19. ^ S. Schuon, C. Theobalt, J. Davis y S. Thrun, "LidarBoost: Superresolución de profundidad para escaneo de formas 3D ToF", en Actas de IEEE CVPR 2009
  20. ^ Johnson, Justin; Alahi, Alexandre; Fei-Fei, Li (26 de marzo de 2016). "Pérdidas perceptuales para transferencia de estilo en tiempo real y superresolución". arXiv : 1603.08155 [cs.CV].
  21. ^ Grant-Jacob, James A; Mackay, Benita S; Baker, James AG; Xie, Yunhui; Heath, Daniel J; Loxham, Matthew; Eason, Robert W; Mills, Ben (18 de junio de 2019). "Una lente neuronal para imágenes biológicas de súper resolución". Journal of Physics Communications . 3 (6): 065004. Bibcode :2019JPhCo...3f5004G. doi : 10.1088/2399-6528/ab267d . ISSN  2399-6528.
  22. ^ Blau, Yochai; Michaeli, Tomer (2018). El equilibrio entre percepción y distorsión . Conferencia IEEE sobre visión artificial y reconocimiento de patrones. págs. 6228–6237. arXiv : 1711.06077 . doi :10.1109/CVPR.2018.00652.
  23. ^ Zeeberg, Amos (23 de agosto de 2023). "Las herramientas de inteligencia artificial que mejoran el aspecto de las imágenes". Revista Quanta . Consultado el 28 de agosto de 2023 .
  24. ^ Cohen, Joseph Paul; Luck, Margaux; Honari, Sina (2018). "Las pérdidas de correspondencia de distribución pueden alucinar características en la traducción de imágenes médicas". En Alejandro F. Frangi; Julia A. Schnabel; Christos Davatzikos; Carlos Alberola-López; Gabor Fichtinger (eds.). Computación de imágenes médicas e intervención asistida por computadora – MICCAI 2018. 21.ª Conferencia internacional, Granada, España, 16-20 de septiembre de 2018, Actas, Parte I. Notas de clase en informática. Vol. 11070. págs. 529-536. arXiv : 1805.08841 . doi :10.1007/978-3-030-00928-1_60. ISBN . 978-3-030-00927-4. S2CID  43919703 . Consultado el 1 de mayo de 2022 .

Otros trabajos relacionados