stringtranslate.com

Microscopía amplificada codificada en el tiempo en serie

La microscopía de estiramiento temporal , también conocida como microscopía/imágenes amplificadas codificadas en el tiempo en serie o microscopía/imágenes amplificadas codificadas en el tiempo estiradas ( STEAM ), es un método rápido de obtención de imágenes ópticas en tiempo real que proporciona una velocidad de cuadros de MHz, una velocidad de obturación de ~100 ps y una ganancia de imagen óptica de ~30 dB (× 1000). Basada en la técnica de estiramiento temporal fotónico, STEAM posee récords mundiales de velocidad de obturación y velocidad de cuadros en imágenes continuas en tiempo real. STEAM emplea el estiramiento temporal fotónico con amplificación Raman interna para lograr la amplificación óptica de la imagen para evitar el equilibrio fundamental entre sensibilidad y velocidad que afecta prácticamente a todos los sistemas de detección e imágenes ópticas. Este método utiliza un fotodetector de un solo píxel , lo que elimina la necesidad de la matriz de detectores y las limitaciones de tiempo de lectura. Al evitar este problema y presentar la amplificación óptica de la imagen para mejorar la sensibilidad a altas velocidades de adquisición de imágenes, la velocidad de obturación de STEAM es al menos 1000 veces más rápida que las mejores cámaras CCD [1] y CMOS [2] . Su velocidad de cuadros es 1000 veces más rápida que la de las cámaras CCD más rápidas y entre 10 y 100 veces más rápida que la de las cámaras CMOS más rápidas .

Historia

La microscopía de estiramiento temporal y su aplicación a la microfluídica para la clasificación de células biológicas se inventó en la UCLA. [3] [4] [5] [6] [7] [8] [9] [10] Combina el concepto de iluminación codificada espectralmente con el estiramiento temporal fotónico, una tecnología de adquisición de datos en tiempo real ultrarrápida desarrollada anteriormente en el mismo laboratorio para crear un digitalizador de disparo único en tiempo real de femtosegundos, [11] y un espectrómetro Raman estimulado de disparo único. [12] La primera demostración fue una versión unidimensional [3] y luego una versión bidimensional. [4] Más tarde, se creó un vibrómetro de imágenes rápidas al extender el sistema a una configuración interferométrica. [13] Luego, la tecnología se extendió a la obtención de imágenes cuantitativas de fase de estiramiento temporal ( TS-QPI ) para la clasificación sin etiquetas de células sanguíneas y se combinó con inteligencia artificial (IA) para la clasificación de células cancerosas en sangre con más del 96% de precisión. [14] El sistema midió 16 parámetros biofísicos de células simultáneamente en una sola toma y realizó una clasificación hiperdimensional utilizando una red neuronal profunda (DNN). Los resultados se compararon con otros algoritmos de clasificación de aprendizaje automático, como la regresión logística y el método Bayes ingenuo, y se obtuvo la mayor precisión con el aprendizaje profundo. Esto se amplió más tarde con "Citometría profunda" [15], en la que se evitaron las tareas computacionalmente intensivas de procesamiento de imágenes y extracción de características antes del aprendizaje profundo al alimentar directamente los escaneos de línea de estiramiento temporal, cada uno de los cuales representa un pulso láser, en una red neuronal convolucional profunda. Esta clasificación directa de datos sin procesar estirados en el tiempo redujo el tiempo de inferencia en órdenes de magnitud a 700 microsegundos en un procesador acelerado por GPU. A una velocidad de flujo de 1 m/s, las células solo se mueven menos de un milímetro. Por lo tanto, este tiempo de inferencia ultracorto es lo suficientemente rápido para la clasificación celular.

Fondo

La tecnología de imágenes ópticas rápidas en tiempo real es indispensable para estudiar eventos dinámicos como ondas de choque , fusión láser , dinámica química en células vivas, actividad neuronal, cirugía láser , microfluídica y MEMS . Las técnicas habituales de las cámaras CCD y CMOS convencionales son inadecuadas para capturar procesos dinámicos rápidos con alta sensibilidad y velocidad; existen limitaciones tecnológicas: lleva tiempo leer los datos del conjunto de sensores y existe un equilibrio fundamental entre sensibilidad y velocidad: a altas velocidades de cuadro, se recogen menos fotones durante cada cuadro, un problema que afecta a casi todos los sistemas de imágenes ópticas.

La cámara streak , utilizada para diagnósticos en fusión láser, radiación de plasma y combustión, opera solo en modo ráfaga (proporcionando solo algunos fotogramas) y requiere sincronización de la cámara con el evento que se va a capturar. Por lo tanto, no puede capturar eventos aleatorios o transitorios en sistemas biológicos. Por otro lado, los estroboscopios tienen un papel complementario: pueden capturar la dinámica de eventos rápidos, pero solo si el evento es repetitivo, como rotaciones, vibraciones y oscilaciones. No pueden capturar eventos aleatorios no repetitivos que ocurren solo una vez o que no ocurren a intervalos regulares.

Principio de funcionamiento

El principio básico implica dos pasos, ambos realizados ópticamente. En el primer paso, el espectro de un pulso óptico de banda ancha es convertido por un dispersor espacial en un arco iris que ilumina el objetivo. Aquí el pulso arco iris consta de muchos subpulsos de diferentes colores (frecuencias), lo que indica que los diferentes componentes de frecuencia (colores) del pulso arco iris inciden en diferentes coordenadas espaciales del objeto. Por lo tanto, la información espacial (imagen) del objeto se codifica en el espectro del pulso arco iris reflejado o transmitido resultante. El pulso arco iris reflejado o transmitido con imagen codificada regresa al mismo dispersor espacial o ingresa a otro dispersor espacial para combinar los colores del arco iris nuevamente en un solo pulso. Aquí la velocidad de obturación o el tiempo de exposición de STEAM corresponden al ancho temporal del pulso arco iris. En el segundo paso, el espectro se mapea en una señal temporal serial que se estira en el tiempo utilizando la transformada de Fourier dispersiva para ralentizarla de modo que se pueda digitalizar en tiempo real. El estiramiento temporal ocurre dentro de una fibra dispersiva que se bombea para crear una amplificación Raman interna. Aquí la imagen se amplifica ópticamente mediante dispersión Raman estimulada para superar el nivel de ruido térmico del detector. El flujo de imágenes en serie amplificado y estirado en el tiempo se detecta mediante un fotodetector de un solo píxel y la imagen se reconstruye en el dominio digital. Los pulsos subsiguientes capturan fotogramas repetitivos, por lo que la frecuencia de repetición del pulso láser corresponde a la frecuencia de fotogramas de STEAM. El segundo se conoce como convertidor analógico a digital estirado en el tiempo, también conocido como osciloscopio de grabación estirado en el tiempo (TiSER).

Transformación de Fourier dispersiva amplificada

El estiramiento y la amplificación simultáneos también se conocen como transformación de Fourier dispersiva de estiramiento temporal amplificado (TS-DFT). [16] [17] La ​​tecnología de estiramiento temporal amplificado se desarrolló anteriormente para demostrar la conversión de analógico a digital con una frecuencia de muestreo en tiempo real de femtosegundos [11] y para demostrar la espectroscopia Raman estimulada en un solo disparo a millones de cuadros por segundo. [12] El estiramiento temporal amplificado es un proceso en el que el espectro de un pulso óptico se mapea mediante una gran dispersión de velocidad de grupo en una forma de onda temporal ralentizada y se amplifica simultáneamente mediante el proceso de dispersión Raman estimulada . En consecuencia, el espectro óptico se puede capturar con un fotodetector de un solo píxel y digitalizar en tiempo real. Los pulsos se repiten para mediciones repetitivas del espectro óptico. La DFT de estiramiento temporal amplificado consiste en una fibra dispersiva bombeada por láseres y multiplexores de división de longitud de onda que acoplan los láseres dentro y fuera de la fibra dispersiva. La transformación de Fourier dispersiva amplificada se desarrolló originalmente para permitir convertidores analógicos a digitales de banda ultra ancha y también se ha utilizado para espectroscopia en tiempo real de alto rendimiento . La resolución del generador de imágenes STEAM está determinada principalmente por el límite de difracción, la frecuencia de muestreo del digitalizador de back-end y los dispersores espaciales. [18]

Imágenes de fase cuantitativas con estiramiento temporal

Vea la descripción completa en www.nature.com/articles/srep21471.
El sistema de obtención de imágenes cuantitativas de fases con estiramiento temporal es un microscopio facilitado por inteligencia artificial que incluye un proceso de análisis de big data para la visión artificial y el aprendizaje. Licencia de imagen CC BY 4.0 -

La obtención de imágenes cuantitativas de fase mediante estiramiento temporal ( TS-QPI ) es una técnica de obtención de imágenes basada en la tecnología de estiramiento temporal para la medición simultánea de perfiles espaciales de fase e intensidad. [19] [20] [21] [22] Desarrollada en la UCLA, ha llevado al desarrollo del microscopio de inteligencia artificial con estiramiento temporal. [19]

Imágenes estiradas en el tiempo

En la obtención de imágenes con estiramiento temporal, la información espacial del objeto se codifica en el espectro de pulsos láser con una duración de pulso de subnanosegundos . Luego, cada pulso que representa un fotograma de la cámara se estira en el tiempo para que pueda digitalizarse en tiempo real mediante un convertidor analógico a digital (ADC) electrónico. La iluminación de pulso ultrarrápida congela el movimiento de células o partículas de alta velocidad en flujo para lograr una obtención de imágenes sin borrosidad. La sensibilidad de detección se ve desafiada por la baja cantidad de fotones recolectados durante el tiempo de obturación ultracorto (ancho de pulso óptico) y la caída en la potencia óptica máxima resultante del estiramiento temporal. [23] Estos problemas se resuelven en la obtención de imágenes con estiramiento temporal implementando un amplificador Raman de baja figura de ruido dentro del dispositivo dispersivo que realiza el estiramiento temporal. Además, la transformación de estiramiento deformado se puede utilizar en la obtención de imágenes con estiramiento temporal para lograr una compresión de imagen óptica y una resolución espacial no uniforme en el campo de visión.

En la versión coherente de la cámara de estiramiento temporal, la obtención de imágenes se combina con interferometría espectral para medir imágenes cuantitativas de fase [24] [25] e intensidad en tiempo real y con un alto rendimiento. Integrado con un canal microfluídico, el sistema de obtención de imágenes coherentes de estiramiento temporal mide tanto el desplazamiento de fase óptica cuantitativa como la pérdida de células individuales como un citómetro de flujo de imágenes de alta velocidad, capturando millones de imágenes lineales por segundo en velocidades de flujo de hasta unos pocos metros por segundo, alcanzando un rendimiento de hasta cientos de miles de células por segundo. La obtención de imágenes cuantitativas de estiramiento temporal de fase se puede combinar con el aprendizaje automático para lograr una clasificación muy precisa sin etiquetas de las células.

Aplicaciones

Este método es útil para una amplia gama de aplicaciones científicas, industriales y biomédicas que requieren velocidades de obturación y frecuencias de cuadros altas. La versión unidimensional se puede emplear para detección de desplazamiento, [ cita requerida ] lectura de códigos de barras, [ cita requerida ] y análisis de sangre; [26] la versión bidimensional para observación, diagnóstico y evaluación en tiempo real de ondas de choque, flujo microfluídico, [27] actividad neuronal, MEMS, [28] y dinámica de ablación láser. [ cita requerida ] La versión tridimensional es útil para detección de rango, [ cita requerida ] metrología dimensional, [ cita requerida ] y vibrometría y velocimetría de superficie. [29]

Compresión de imágenes en el dominio óptico

Ilustración de la transformación de estiramiento deformado en la imagen.

Los macrodatos no solo brindan oportunidades, sino también desafíos para los instrumentos biomédicos y científicos, ya que las unidades de adquisición y procesamiento se ven desbordadas por un torrente de datos. La necesidad de comprimir volúmenes masivos de datos en tiempo real ha alimentado el interés en las transformaciones de estiramiento no uniformes, operaciones que remodelan los datos según su escasez.

Recientemente, investigadores de la UCLA demostraron que la compresión de imágenes se realiza en el dominio óptico y en tiempo real. [30] Mediante la dispersión de retardo de grupo no lineal y la obtención de imágenes con estiramiento temporal, pudieron deformar ópticamente la imagen de modo que las partes ricas en información se muestrean a una densidad de muestra mayor que las regiones dispersas. Esto se logró reestructurando la imagen antes de la conversión óptica a eléctrica seguida de un muestreador electrónico uniforme. La reconstrucción de la imagen estirada de manera no uniforme demuestra que la resolución es mayor donde la información es rica y menor donde la información es mucho menor y relativamente poco importante. La región rica en información en el centro se conserva bien mientras se mantienen las mismas tasas de muestreo en comparación con el caso uniforme sin submuestreo. La compresión de imágenes se demostró a 36 millones de cuadros por segundo en tiempo real.

Véase también

Referencias

  1. ^ JR Janesick (2001). Dispositivos científicos acoplados a carga . SPIE Press. ISBN 9780819436986.
  2. ^ H. Zimmermann (2000). Optoelectrónica de silicio integrada . Springer. ISBN 978-3540666622.
  3. ^ ab K. Goda; KK Tsia y B. Jalali (2008). "Imágenes amplificadas por transformada de Fourier dispersiva para detección de desplazamiento ultrarrápido y lectura de códigos de barras". Applied Physics Letters . 93 (13): 131109. arXiv : 0807.4967 . Bibcode :2008ApPhL..93m1109G. doi :10.1063/1.2992064. S2CID  34751462.
  4. ^ ab K. Goda; KK Tsia y B. Jalali (2009). "Imágenes amplificadas codificadas en tiempo serializadas para la observación en tiempo real de fenómenos dinámicos rápidos". Nature . 458 (7242): 1145–9. Bibcode :2009Natur.458.1145G. doi :10.1038/nature07980. PMID  19407796. S2CID  4415762.
  5. ^ Patente estadounidense 8654441, Jalali Bahram & Motafakker-Fard Ali, "Microscopía amplificada codificada en tiempo serial con contraste de interferencia diferencial", expedida el 18 de febrero de 2014, asignada a The Regents of the University of California 
  6. ^ Patente estadounidense 8870060, Jalali Bahram; Goda Keisuke & Tsia Kevin Kin-Man, "Aparato y método para la obtención de imágenes por transformada de Fourier dispersiva", expedida el 28 de octubre de 2014, asignada a The Regents of the University of California 
  7. ^ Patente estadounidense 9835840, Jalali Bahram; Goda Keisuke & Tsia Kevin Kin-Man, "Métodos para la obtención de imágenes ópticamente amplificadas utilizando un pincel espectral bidimensional", expedida el 30 de enero de 2015, asignada a The Regents of the University of California 
  8. ^ Patente estadounidense 8987649, Jalali Bahram; Goda Keisuke & Tsia Kevin Kin-Man, "Métodos para la obtención de imágenes ópticamente amplificadas utilizando un pincel espectral bidimensional", expedida el 24 de marzo de 2015, asignada a The Regents of the University of California 
  9. ^ Patente estadounidense 9903804, Jalali Bahram & Mahjoubfar Ata, "Cribado celular de alto rendimiento sin etiquetas en tiempo real en flujo", emitida el 27 de febrero de 2018, asignada a The Regents of the University of California 
  10. ^ Patente estadounidense 10593039, Jalali Bahram; Mahjoubfar Ata y Chen Lifan, "Aprendizaje profundo en la clasificación de células sin etiquetas y extracción de partículas mediante visión artificial", expedida el 17 de marzo de 2020, asignada a The Regents of the University of California 
  11. ^ ab Chou, J.; Boyraz, O.; Solli, D.; Jalali, B. (2007). "Digitalizador de disparo único en tiempo real de femtosegundos". Applied Physics Letters . 91 (16): 161105–1–161105–3. Código Bibliográfico :2007ApPhL..91p1105C. doi :10.1063/1.2799741 – vía Researchgate.net.
  12. ^ ab Solli, DR; Boyraz, O.; Jalali, B. (2008). "Transformación de longitud de onda-tiempo amplificada para espectroscopia en tiempo real". Nature Photonics . 2 (1): 48–51. Bibcode :2008NaPho...2...48S. doi :10.1038/nphoton.2007.253. S2CID  8991606.
  13. ^ A. Mahjoubfar; K. Goda; A. Ayazi; A. Fard; SH Kim y B. Jalali (2011). "Vibrómetro y velocímetro de imágenes de alta velocidad con resolución nanométrica". Applied Physics Letters . 98 (10): 101107. Bibcode :2011ApPhL..98j1107M. doi :10.1063/1.3563707.
  14. ^ Chen, CL; Mahjoubfar, A.; Tai, L.; Blaby, I.; Huang, A.; Niazi, K.; Jalali, B. (2016). "Aprendizaje profundo en la clasificación celular sin etiquetas". Scientific Reports . 6 : 21471. Bibcode :2016NatSR...621471C. doi :10.1038/srep21471. PMC 4791545 . PMID  26975219. 
  15. ^ Li, Yueqin; Mahjoubfar, Ata; Chen, Claire Lifan; Niazi, Kayvan Reza; Pei, Li y Jalali, Bahram (2019). "Citometría profunda: aprendizaje profundo con inferencia en tiempo real en la clasificación celular y citometría de flujo". Scientific Reports . 9 (1): 1–12. arXiv : 1904.09233 . Código Bibliográfico :2019NatSR...911088L. doi :10.1038/s41598-019-47193-6. PMC 6668572 . PMID  31366998. 
  16. ^ K. Goda; DR Solli; KK Tsia y B. Jalali (2009). "Teoría de la transformación de Fourier dispersiva amplificada". Physical Review A . 80 (4): 043821. Bibcode :2009PhRvA..80d3821G. doi :10.1103/PhysRevA.80.043821. hdl : 10722/91330 .
  17. ^ K. Goda y B. Jalali (2010). "Figura de ruido de la transformación de Fourier dispersiva amplificada". Physical Review A . 82 (3): 033827. Bibcode :2010PhRvA..82c3827G. doi :10.1103/PhysRevA.82.033827. S2CID  8243947.
  18. ^ Tsia KK, Goda K., Capewell D., Jalali B. (2010). "Rendimiento del microscopio amplificado codificado en tiempo serial". Optics Express . 18 (10): 10016–28. Bibcode :2010OExpr..1810016T. doi :10.1364/oe.18.010016. hdl : 10722/91333 . PMID  20588855. S2CID  8077381.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  19. ^ ab Chen, Claire Lifan; Mahjoubfar, Ata; Tai, Li-Chia; Blaby, Ian K.; Huang, Allen; Niazi, Kayvan Reza; Jalali, Bahram (2016). "Aprendizaje profundo en la clasificación celular sin etiquetas". Scientific Reports . 6 : 21471. Bibcode :2016NatSR...621471C. doi :10.1038/srep21471. PMC 4791545 . PMID  26975219. publicado bajo licencia CC BY 4.0
  20. ^ Michaud, Sarah (5 de abril de 2016). "Aprovechamiento de los macrodatos para la obtención de imágenes celulares". Optics & Photonics News . The Optical Society . Consultado el 8 de julio de 2016 .
  21. ^ "La microscopía fotónica de estiramiento temporal combinada con inteligencia artificial detecta células cancerosas en la sangre". Med Gadget . 15 de abril de 2016 . Consultado el 8 de julio de 2016 .
  22. ^ Chen, Claire Lifan; Mahjoubfar, Ata; Jalali, Bahram (23 de abril de 2015). "Compresión de datos ópticos en imágenes de estiramiento temporal". PLOS ONE . ​​10 (4): e0125106. Bibcode :2015PLoSO..1025106C. doi : 10.1371/journal.pone.0125106 . PMC 4408077 . PMID  25906244. 
  23. ^ Mahjoubfar, Ata; Churkin, Dmitry V.; Barland, Stéphane; Broderick, Neil; Turitsyn, Sergei K.; Jalali, Bahram (2017). "Estiramiento temporal y sus aplicaciones". Nature Photonics . 11 (6): 341–351. Código Bibliográfico :2017NaPho..11..341M. doi :10.1038/nphoton.2017.76. S2CID  53511029.
  24. ^ G. Popescu, "Imágenes cuantitativas de fase de células y tejidos", McGraw Hill Professional (2011)
  25. ^ Lau, Andy KS; Wong, Terence TW; Ho, Kenneth KY; Tang, Matthew TH; Chan, Antony CS; Wei, Xiaoming; Lam, Edmund Y.; Shum, Ho Cheung; Wong, Kenneth KY; Tsia, Kevin K. (2014). "Microscopía interferométrica de estiramiento temporal para... imágenes cuantitativas de tejidos y células" (PDF) . Journal of Biomedical Optics . 19 (7). Descarga gratuita en PDF: 076001. Bibcode :2014JBO....19g6001L. doi :10.1117/1.JBO.19.7.076001. hdl : 10722/200609 . PMID  24983913. S2CID  24535924.
  26. ^ Chen C., Mahjoubfar A., ​​Tai L., Blaby I., Huang A., Niazi K., Jalali B. (2016). "Aprendizaje profundo en la clasificación celular sin etiquetas". Scientific Reports . 6 : 21471. Bibcode :2016NatSR...621471C. doi :10.1038/srep21471. PMC 4791545 . PMID  26975219. {{cite journal}}: CS1 maint: multiple names: authors list (link)
  27. ^ D. Di Carlo (2009). "Microfluídica inercial". Laboratorio en un chip . 9 (21): 3038–46. doi :10.1039/b912547g. PMID  19823716.
  28. ^ TR Hsu (2008). MEMS y microsistemas: diseño, fabricación e ingeniería a nanoescala . Wiley. ISBN 978-0470083017.
  29. ^ Mahjoubfar A., ​​Goda K., Ayazi A., Fard A., Kim S., Jalali B. (2011). "Vibrómetro y velocímetro de imágenes de resolución nanométrica de alta velocidad". Applied Physics Letters . 98 (10): 101107. Bibcode :2011ApPhL..98j1107M. doi :10.1063/1.3563707.{{cite journal}}: CS1 maint: multiple names: authors list (link)
  30. ^ CL Chen; A Mahjoubfar; B Jalali (2015). "Compresión de datos ópticos en imágenes de estiramiento temporal". PLOS ONE . ​​10 (4): 1371. Bibcode :2015PLoSO..1025106C. doi : 10.1371/journal.pone.0125106 . PMC 4408077 . PMID  25906244.