Dado que algunas de las ideas en torno a la superresolución plantean cuestiones fundamentales, es necesario examinar desde el principio los principios físicos y teóricos de la información pertinentes:
Límite de difracción : El detalle de un objeto físico que un instrumento óptico puede reproducir en una imagen tiene límites que están establecidos por las leyes de la física, ya sea formuladas por las ecuaciones de difracción en la teoría ondulatoria de la luz [3] o equivalentemente el principio de incertidumbre para los fotones en la mecánica cuántica . [4] La transferencia de información nunca se puede aumentar más allá de este límite, pero los paquetes fuera de los límites se pueden intercambiar inteligentemente por (o multiplexar con) algunos dentro de él. [5] Uno no tanto "rompe" como "corre alrededor" del límite de difracción. Los nuevos procedimientos que investigan perturbaciones electromagnéticas a nivel molecular (en el llamado campo cercano) [6] siguen siendo completamente consistentes con las ecuaciones de Maxwell .
Dominio de frecuencia espacial: Una expresión sucinta del límite de difracción se da en el dominio de frecuencia espacial. En la óptica de Fourier, las distribuciones de luz se expresan como superposiciones de una serie de patrones de luz en rejilla en un rango de anchos de franja, técnicamente frecuencias espaciales . En general, se enseña que la teoría de la difracción estipula un límite superior, la frecuencia espacial de corte, más allá del cual los elementos del patrón no se transfieren a la imagen óptica, es decir, no se resuelven. Pero, de hecho, lo que establece la teoría de la difracción es el ancho de la banda de paso, no un límite superior fijo. No se rompe ninguna ley de la física cuando una banda de frecuencia espacial más allá de la frecuencia espacial de corte se intercambia por una dentro de ella: esto se ha implementado desde hace mucho tiempo en la microscopía de campo oscuro . Tampoco se rompen las reglas de la teoría de la información al superponer varias bandas, [7] [8] [9] desenredarlas en la imagen recibida requiere suposiciones de invariancia del objeto durante múltiples exposiciones, es decir, la sustitución de un tipo de incertidumbre por otro.
Información : Cuando se utiliza el término superresolución en técnicas para inferir detalles de objetos a partir del tratamiento estadístico de la imagen dentro de límites de resolución estándar, por ejemplo, promediando múltiples exposiciones, implica un intercambio de un tipo de información (extraer la señal del ruido) por otro (la suposición de que el objetivo ha permanecido invariable).
Resolución y localización: La resolución verdadera implica la distinción de si un objetivo, por ejemplo, una estrella o una línea espectral, es simple o doble, lo que normalmente requiere picos separables en la imagen. Cuando se sabe que un objetivo es simple, su ubicación se puede determinar con mayor precisión que el ancho de la imagen al encontrar el centroide (centro de gravedad) de su distribución de luz en la imagen. Se había propuesto el término ultraresolución para este proceso [10], pero no tuvo éxito, y el procedimiento de localización de alta precisión se conoce normalmente como superresolución.
Los logros técnicos en la mejora del rendimiento de los dispositivos de formación y detección de imágenes, ahora clasificados como de súper resolución, se aprovechan al máximo, pero siempre dentro de los límites impuestos por las leyes de la física y la teoría de la información.
Técnicas
Superresolución óptica o difractiva
Sustitución de bandas de frecuencia espacial: aunque el ancho de banda permitido por difracción es fijo, se puede ubicar en cualquier parte del espectro de frecuencia espacial. La iluminación de campo oscuro en microscopía es un ejemplo. Véase también síntesis de apertura .
La técnica de "iluminación estructurada" de superresolución está relacionada con los patrones de muaré . El objetivo, una banda de franjas finas (fila superior), está más allá del límite de difracción. Cuando se superpone artificialmente una banda de franjas resolubles algo más gruesas (segunda fila), la combinación (tercera fila) presenta componentes de muaré que están dentro del límite de difracción y, por lo tanto, contenidos en la imagen (fila inferior), lo que permite inferir la presencia de las franjas finas aunque no estén representadas en la imagen.
Multiplexación de bandas de frecuencia espacial
Se forma una imagen utilizando la banda de paso normal del dispositivo óptico. Luego, se superpone sobre el objetivo una estructura de luz conocida, por ejemplo, un conjunto de franjas de luz que ni siquiera necesitan estar dentro de la banda de paso. [8] [9] La imagen ahora contiene componentes resultantes de la combinación del objetivo y la estructura de luz superpuesta, por ejemplo, franjas de muaré , y lleva información sobre el detalle del objetivo que la iluminación simple no estructurada no tiene. Sin embargo, los componentes "superresueltos" necesitan desenredarse para ser revelados. Para un ejemplo, consulte la iluminación estructurada (figura a la izquierda).
Uso de múltiples parámetros dentro del límite de difracción tradicional
Si un objetivo no tiene propiedades especiales de polarización o longitud de onda, se pueden utilizar dos estados de polarización o regiones de longitud de onda no superpuestas para codificar los detalles del objetivo, uno en una banda de frecuencia espacial dentro del límite de corte y el otro más allá de él. Ambos utilizarían la transmisión de banda de paso normal, pero luego se decodificarían por separado para reconstruir la estructura del objetivo con una resolución extendida.
Sondeo de perturbaciones electromagnéticas de campo cercano
El debate habitual sobre la superresolución implicaba la obtención de imágenes convencionales de un objeto mediante un sistema óptico. Pero la tecnología moderna permite investigar la perturbación electromagnética dentro de distancias moleculares de la fuente [6] , lo que tiene propiedades de resolución superiores; véase también las ondas evanescentes y el desarrollo de la nueva superlente .
Súper resolución geométrica o de procesamiento de imágenes
En comparación con una única imagen alterada por el ruido durante su adquisición o transmisión (izquierda), la relación señal/ruido se mejora mediante la combinación adecuada de varias imágenes obtenidas por separado (derecha). Esto se puede lograr solo dentro de la capacidad de resolución intrínseca del proceso de obtención de imágenes para revelar tal detalle.
Reducción de ruido de imágenes con exposición múltiple
Cuando una imagen se degrada por el ruido, puede haber más detalles en el promedio de muchas exposiciones, incluso dentro del límite de difracción. Vea el ejemplo a la derecha.
Desenfoque de fotograma único
Los defectos conocidos en una situación de imagen dada, como el desenfoque o las aberraciones , a veces se pueden mitigar total o parcialmente mediante un filtrado de frecuencia espacial adecuado incluso de una sola imagen. Todos estos procedimientos se mantienen dentro de la banda de paso obligatoria de difracción y no la extienden.
Ambas características se extienden sobre 3 píxeles, pero en diferentes cantidades, lo que permite localizarlas con una precisión superior a la dimensión del píxel.
Localización de imágenes de subpíxeles
La ubicación de una fuente única puede determinarse calculando el "centro de gravedad" ( centroide ) de la distribución de luz que se extiende sobre varios píxeles adyacentes (ver figura a la izquierda). Siempre que haya suficiente luz, esto puede lograrse con precisión arbitraria, mucho mejor que el ancho de píxel del aparato de detección y el límite de resolución para la decisión de si la fuente es simple o doble. Esta técnica, que requiere la presuposición de que toda la luz proviene de una sola fuente, está en la base de lo que se ha conocido como microscopía de superresolución , por ejemplo, la microscopía de reconstrucción óptica estocástica (STORM), donde las sondas fluorescentes unidas a moléculas brindan información de distancia a escala nanométrica . También es el mecanismo subyacente a la hiperagudeza visual . [11]
Inducción bayesiana más allá del límite de difracción tradicional
Se puede saber que algunas características de los objetos, aunque estén más allá del límite de difracción, están asociadas con otras características de los objetos que están dentro de los límites y, por lo tanto, contenidas en la imagen. Entonces se pueden sacar conclusiones, utilizando métodos estadísticos, de los datos de imagen disponibles sobre la presencia del objeto completo. [12] El ejemplo clásico es la propuesta de Toraldo di Francia [13] de juzgar si una imagen es la de una estrella simple o doble determinando si su ancho excede la dispersión de una estrella simple. Esto se puede lograr en separaciones muy por debajo de los límites de resolución clásicos y requiere la limitación previa a la elección "¿simple o doble?".
El enfoque puede tomar la forma de extrapolar la imagen en el dominio de la frecuencia, asumiendo que el objeto es una función analítica y que podemos conocer exactamente los valores de la función en algún intervalo . Este método está severamente limitado por el ruido siempre presente en los sistemas de imágenes digitales, pero puede funcionar para radar , astronomía , microscopía o imágenes por resonancia magnética . [14] Más recientemente, se ha propuesto un algoritmo rápido de superresolución de imagen única basado en una solución de forma cerrada a los problemas y se ha demostrado que acelera significativamente la mayoría de los métodos de superresolución bayesianos existentes. [15]
Alias
Los algoritmos de reconstrucción SR geométrica son posibles si y solo si las imágenes de entrada de baja resolución han sido submuestreadas y, por lo tanto, contienen aliasing . Debido a este aliasing, el contenido de alta frecuencia de la imagen de reconstrucción deseada se integra en el contenido de baja frecuencia de cada una de las imágenes observadas. Dado un número suficiente de imágenes de observación, y si el conjunto de observaciones varía en su fase (es decir, si las imágenes de la escena se desplazan en una cantidad de subpíxeles), entonces la información de fase se puede utilizar para separar el contenido de alta frecuencia aliasing del contenido de baja frecuencia real, y la imagen de resolución completa se puede reconstruir con precisión. [16]
En la práctica, este enfoque basado en la frecuencia no se utiliza para la reconstrucción, pero incluso en el caso de enfoques espaciales (por ejemplo, fusión de desplazamiento y adición [17] ), la presencia de aliasing sigue siendo una condición necesaria para la reconstrucción de SR.
Implementaciones técnicas
Existen muchas variantes de SR, tanto de un solo cuadro como de varios cuadros. La SR de varios cuadros utiliza los cambios de subpíxeles entre varias imágenes de baja resolución de la misma escena. Crea una imagen de resolución mejorada fusionando información de todas las imágenes de baja resolución, y las imágenes de mayor resolución creadas son mejores descripciones de la escena. Los métodos de SR de un solo cuadro intentan ampliar la imagen sin producir borrosidad. Estos métodos utilizan otras partes de las imágenes de baja resolución, u otras imágenes no relacionadas, para adivinar cómo debería verse la imagen de alta resolución. Los algoritmos también se pueden dividir por su dominio: dominio de frecuencia o dominio espacial . Originalmente, los métodos de superresolución funcionaban bien solo en imágenes en escala de grises, [18] pero los investigadores han encontrado métodos para adaptarlos a imágenes de cámaras en color. [17] Recientemente, también se ha demostrado el uso de superresolución para datos 3D. [19]
Investigación
Hay investigaciones prometedoras sobre el uso de redes convolucionales profundas para lograr una superresolución. [20] En particular, se ha demostrado un trabajo que muestra la transformación de una imagen de granos de polen en un microscopio electrónico de barrido de 1500x mediante esta técnica. [21] Si bien esta técnica puede aumentar el contenido de información de una imagen, no hay garantía de que las características ampliadas existan en la imagen original y los ampliadores de escala convolucionales profundos no deben usarse en aplicaciones analíticas con entradas ambiguas. [22] [23] Estos métodos pueden alucinar las características de la imagen, lo que puede hacer que no sean seguros para el uso médico. [24]
^ Schmidt, RO, "Ubicación de múltiples emisores y estimación de parámetros de señal", IEEE Trans. Antennas Propagation, vol. AP-34 (marzo de 1986), págs. 276-280.
^ Abeida, Habti; Zhang, Qilin; Li, Jian ; Merabtine, Nadjim (2013). "Enfoques iterativos dispersos asintóticos basados en varianza mínima para procesamiento de matrices" (PDF) . IEEE Transactions on Signal Processing . 61 (4): 933–944. arXiv : 1802.03070 . Bibcode :2013ITSP...61..933A. doi :10.1109/tsp.2012.2231676. ISSN 1053-587X. S2CID 16276001.
^ Born M, Wolf E, Principios de óptica , Cambridge Univ. Press, cualquier edición
^ Fox M, 2007 Óptica cuántica Oxford
^ Zalevsky Z, Mendlovic D. 2003 Superresolución óptica Springer
^ ab Betzig, E; Trautman, JK (1992). "Óptica de campo cercano: microscopía, espectroscopía y modificación de superficies más allá del límite de difracción". Science . 257 (5067): 189–195. Bibcode :1992Sci...257..189B. doi :10.1126/science.257.5067.189. PMID 17794749. S2CID 38041885.
^ Lukosz, W., 1966. Sistemas ópticos con poder de resolución que excede el límite clásico. J. opt. soc. Am. 56, 1463–1472.
^ ab Guerra, John M. (26 de junio de 1995). "Superresolución mediante iluminación por ondas evanescentes generadas por difracción". Applied Physics Letters . 66 (26): 3555–3557. Bibcode :1995ApPhL..66.3555G. doi :10.1063/1.113814. ISSN 0003-6951.
^ ab Gustaffsson, M., 2000. Superar el límite de resolución lateral por un factor de dos utilizando microscopía de iluminación estructurada. J. Microscopy 198, 82–87.
^ Cox, IJ, Sheppard, CJR, 1986. Capacidad de información y resolución en un sistema óptico. J.opt. Soc. Am. A 3, 1152–1158
^ Westheimer, G (2012). "Superresolución óptica e hiperagudeza visual". Prog Retin Eye Res . 31 (5): 467–80. doi : 10.1016/j.preteyeres.2012.05.001 . PMID: 22634484.
^ Harris, JL, 1964. Poder de resolución y toma de decisiones. J. opt. soc. Am. 54, 606–611.
^ Toraldo di Francia, G., 1955. Poder de resolución e información. J. opt. soc. Am. 45, 497–501.
^ D. Poot, B. Jeurissen, Y. Bastiaensen, J. Veraart, W. Van Hecke, PM Parizel y J. Sijbers, "Superresolución para imágenes de tensor de difusión multicorte", Resonancia magnética en medicina, (2012)
^ N. Zhao, Q. Wei, A. Basarab, N. Dobigeon, D. Kouamé y JY. Tourneret, "Superresolución rápida de una sola imagen utilizando una nueva solución analítica para problemas ℓ 2 − ℓ 2 {\displaystyle \ell _{2}-\ell _{2}}", IEEE Trans. Image Process., 2016, próxima a aparecer.
^ J. Simpkins, RL Stevenson, "Introducción a la obtención de imágenes con súper resolución". Óptica matemática: métodos clásicos, cuánticos y computacionales, Ed. V. Lakshminarayanan, M. Calvo y T. Alieva. CRC Press, 2012. 539-564.
^ ab S. Farsiu, D. Robinson, M. Elad y P. Milanfar, "Superresolución multifotograma rápida y robusta", IEEE Transactions on Image Processing, vol. 13, núm. 10, págs. 1327–1344, octubre de 2004.
^ P. Cheeseman, B. Kanefsky, R. Kraft y J. Stutz, 1994
^ S. Schuon, C. Theobalt, J. Davis y S. Thrun, "LidarBoost: Superresolución de profundidad para escaneo de formas 3D ToF", en Actas de IEEE CVPR 2009
^ Johnson, Justin; Alahi, Alexandre; Fei-Fei, Li (26 de marzo de 2016). "Pérdidas perceptivas para transferencia de estilo en tiempo real y superresolución". arXiv : 1603.08155 [cs.CV].
^ Grant-Jacob, James A; Mackay, Benita S; Baker, James AG; Xie, Yunhui; Heath, Daniel J; Loxham, Matthew; Eason, Robert W; Mills, Ben (18 de junio de 2019). "Una lente neuronal para imágenes biológicas de súper resolución". Journal of Physics Communications . 3 (6): 065004. Bibcode :2019JPhCo...3f5004G. doi : 10.1088/2399-6528/ab267d . ISSN 2399-6528.
^ Blau, Yochai; Michaeli, Tomer (2018). El equilibrio entre percepción y distorsión . Conferencia IEEE sobre visión artificial y reconocimiento de patrones. págs. 6228–6237. arXiv : 1711.06077 . doi :10.1109/CVPR.2018.00652.
^ Zeeberg, Amos (23 de agosto de 2023). "Las herramientas de inteligencia artificial que mejoran el aspecto de las imágenes". Revista Quanta . Consultado el 28 de agosto de 2023 .
^ Cohen, Joseph Paul; Luck, Margaux; Honari, Sina (2018). "Las pérdidas de correspondencia de distribución pueden alucinar características en la traducción de imágenes médicas". En Alejandro F. Frangi; Julia A. Schnabel; Christos Davatzikos; Carlos Alberola-López; Gabor Fichtinger (eds.). Computación de imágenes médicas e intervención asistida por computadora – MICCAI 2018. 21.ª Conferencia internacional, Granada, España, 16-20 de septiembre de 2018, Actas, Parte I. Notas de clase en informática. Vol. 11070. págs. 529-536. arXiv : 1805.08841 . doi :10.1007/978-3-030-00928-1_60. ISBN .978-3-030-00927-4. S2CID 43919703 . Consultado el 1 de mayo de 2022 .
Otros trabajos relacionados
Curtis, Craig H.; Milster, Tom D. (octubre de 1992). "Análisis de la superresolución en dispositivos de almacenamiento de datos magnetoópticos". Applied Optics . 31 (29): 6272–6279. Bibcode :1992ApOpt..31.6272M. doi :10.1364/AO.31.006272. PMID 20733840.
Zalevsky, Z.; Mendlovic, D. (2003). Superresolución óptica . Springer. ISBN 978-0-387-00591-1.
Caron, JN (septiembre de 2004). "Supermuestreo rápido de secuencias multiframe mediante el uso de deconvolución ciega". Optics Letters . 29 (17): 1986–1988. Bibcode :2004OptL...29.1986C. doi :10.1364/OL.29.001986. PMID 15455755.
Clement, GT; Huttunen, J.; Hynynen, K. (2005). "Imágenes por ultrasonido de superresolución utilizando reconstrucción retroproyectada". Revista de la Sociedad Acústica de América . 118 (6): 3953–3960. Bibcode :2005ASAJ..118.3953C. doi :10.1121/1.2109167. PMID 16419839.
Geisler, WS; Perry, JS (2011). "Estadísticas para la predicción óptima de puntos en imágenes naturales". Journal of Vision . 11 (12): 14. doi : 10.1167/11.12.14 . PMC 5144165 . PMID 22011382.
Bertero, M.; Boccacci, P. (octubre de 2003). "Superresolución en imágenes computacionales". Micron . 34 (6–7): 265–273. doi :10.1016/s0968-4328(03)00051-9. PMID 12932769.
Borman, S.; Stevenson, R. (1998). "Mejora de la resolución espacial de secuencias de imágenes de baja resolución: una revisión exhaustiva con orientaciones para futuras investigaciones" (informe técnico) . Universidad de Notre Dame.
Borman, S.; Stevenson, R. (1998). Superresolución a partir de secuencias de imágenes: una revisión (PDF) . Simposio del Medio Oeste sobre circuitos y sistemas.
Park, SC; Park, MK; Kang, MG (mayo de 2003). "Reconstrucción de imágenes con súper resolución: una descripción técnica general". Revista IEEE Signal Processing . 20 (3): 21–36. Bibcode :2003ISPM...20...21P. doi :10.1109/MSP.2003.1203207. S2CID 12320918.
Farsiu, S.; Robinson, D.; Elad, M.; Milanfar, P. (agosto de 2004). "Avances y desafíos en superresolución". Revista internacional de sistemas y tecnología de imágenes . 14 (2): 47–57. doi :10.1002/ima.20007. S2CID 12351561.
Elad, M.; Hel-Or, Y. (agosto de 2001). "Algoritmo de reconstrucción rápida de súper resolución para movimiento traslacional puro y desenfoque invariante en el espacio común". IEEE Transactions on Image Processing . 10 (8): 1187–1193. Bibcode :2001ITIP...10.1187E. CiteSeerX 10.1.1.11.2502 . doi :10.1109/83.935034. PMID 18255535.
Irani, M.; Peleg, S. (junio de 1990). Superresolución a partir de secuencias de imágenes (PDF) . Conferencia internacional sobre reconocimiento de patrones. Vol. 2. págs. 115–120.
Sroubek, F.; Cristóbal, G.; Flusser, J. (2007). "Un enfoque unificado para la superresolución y la deconvolución ciega multicanal". IEEE Transactions on Image Processing . 16 (9): 2322–2332. Bibcode :2007ITIP...16.2322S. doi :10.1109/TIP.2007.903256. PMID 17784605. S2CID 6367149.
Calabuig, Alejandro; Micó, Vicente; Garcia, Javier; Zalevsky, Zeev; Ferreira, Carlos (marzo de 2011). "Microscopía interferométrica de superresolución de exposición única mediante multiplexación rojo-verde-azul". Optics Letters . 36 (6): 885–887. Bibcode :2011OptL...36..885C. doi :10.1364/OL.36.000885. PMID 21403717.
Chan, Wai-San; Lam, Edmund; Ng, Michael K.; Mak, Giuseppe Y. (septiembre de 2007). "Reconstrucción de súper resolución en un sistema computacional de imágenes de ojo compuesto". Sistemas multidimensionales y procesamiento de señales . 18 (2–3): 83–101. doi :10.1007/s11045-007-0022-3. S2CID 16452552.
Ng, Michael K.; Shen, Huanfeng; Lam, Edmund Y.; Zhang, Liangpei (2007). "Un algoritmo de reconstrucción de súper resolución basado en regularización de variación total para video digital". Revista EURASIP sobre avances en procesamiento de señales . 2007 : 074585. Bibcode :2007EJASP2007..104N. doi : 10.1155/2007/74585 . hdl : 10722/73871 .
Ben-Ezra, M.; Lin, Zhouchen; Wilburn, B.; Zhang, Wei (julio de 2011). "Píxeles de Penrose para superresolución" (PDF) . Transacciones IEEE sobre análisis de patrones e inteligencia artificial . 33 (7): 1370–1383. CiteSeerX 10.1.1.174.8804 . doi :10.1109/TPAMI.2010.213. PMID 21135446. S2CID 184868.
Berliner, L.; Buffa, A. (2011). "Imágenes de dosis variable con súper resolución en radiografía digital: calidad y reducción de dosis con un detector fluoroscópico de panel plano". Int J Comput Assist Radiol Surg . 6 (5): 663–673. doi :10.1007/s11548-011-0545-9. PMID 21298404.
Timofte, R.; De Smet, V.; Van Gool, L. (noviembre de 2014). A+: Regresión de vecindad anclada ajustada para una superresolución rápida (PDF) . 12.ª Conferencia asiática sobre visión artificial (ACCV).; "códigos y datos".
