Sensor retinomórfico

Sensor óptico

Arriba: Cambio escalonado en la intensidad de la luz incidente en el sensor en función del tiempo. Medio: Forma de la salida del sensor óptico convencional en función del tiempo. Abajo: Forma de la salida del sensor retinomórfico en función del tiempo.

Los sensores retinomórficos son un tipo de sensor óptico impulsado por eventos que produce una señal en respuesta a cambios en la intensidad de la luz, en lugar de a la intensidad de la luz en sí. ^[1] Esto contrasta con los sensores ópticos convencionales, como los sensores basados ​​en dispositivos acoplados a carga (CCD) o semiconductores de óxido metálico complementario (CMOS), que emiten una señal que aumenta con el aumento de la intensidad de la luz. Debido a que responden solo al movimiento, se espera que los sensores retinomórficos permitan un seguimiento más rápido de los objetos en movimiento que los sensores de imagen convencionales, y tengan aplicaciones potenciales en vehículos autónomos , robótica e ingeniería neuromórfica . ^{[2] [3] [4] [5]}

Nombre e historia

La primera retina artificial fue descubierta a finales de los años 1980 por Carver Mead y sus estudiantes de doctorado Misha Mahowald y Tobias Delbrück . ^{[6] [7]} Estos sensores basados ​​en silicio se basaban en pequeños circuitos que involucraban amplificadores diferenciales , capacitores y resistencias . Los sensores producían un pico y posterior decaimiento en el voltaje de salida en respuesta a un cambio escalonado en la intensidad de la iluminación. Esta respuesta es análoga a la de las células de la retina animal, que en los años 1920 se observó que se activaban con mayor frecuencia cuando se cambiaba la intensidad de la luz que cuando era constante. ^[8] Por lo tanto, se ha utilizado el nombre de retina de silicio para describir estos sensores. ^[9]

El término retinomórfico fue utilizado por primera vez en un artículo de conferencia por Lex Akers en 1990. ^[10] El término recibió un uso más amplio por parte del profesor de ingeniería de Stanford Kwabena Boahen , y desde entonces se ha aplicado a una amplia gama de estrategias de detección impulsadas por eventos. ^[11] La palabra es análoga a neuromórfico , que se aplica a elementos de hardware (como procesadores ) diseñados para replicar la forma en que el cerebro procesa la información.

Principios de funcionamiento

Ilustración de la carga en las placas de un condensador fotosensible en serie con una resistencia . Antes del tiempo t ₀ , el condensador está en la oscuridad y la carga en las placas está determinada por C _oscuridad . En el tiempo t ≥ t ₀ , el condensador está bajo iluminación y la capacitancia cambia a C _luz , lo que hace que cambie la carga que pueden alojar las placas. A continuación, la carga excedente fluye dentro y fuera de las placas durante un período de tiempo determinado por la resistencia R.

Existen varios diseños de sensores retinomórficos que producen una respuesta similar. Los primeros diseños empleaban un amplificador diferencial que comparaba la señal de entrada de un sensor convencional (por ejemplo, un fototransistor ) con una versión filtrada de la salida, ^[6] lo que daba como resultado una disminución gradual si la entrada era constante. Desde la década de 1980, estos sensores han evolucionado hasta convertirse en circuitos mucho más complejos y robustos. ^[1]

Un diseño más compacto de sensor retinomórfico consiste en solo un capacitor fotosensible y una resistencia en serie. ^[12] El voltaje de salida de estos sensores retinomórficos, , se define como el voltaje que cae a través de la resistencia. El capacitor fotosensible está diseñado para tener una capacitancia que es una función de la intensidad de la luz incidente. Si se aplica un voltaje constante , a través de este circuito RC , actuará como un filtro de paso alto pasivo y todo el voltaje caerá a través del capacitor (es decir, ). Después de una cantidad de tiempo suficiente, las placas del capacitor estarán completamente cargadas con una carga en cada placa, donde es la capacitancia en la oscuridad. Dado que bajo iluminación constante, esto se puede simplificar a . ${\displaystyle V_{out}}$ ${\displaystyle V_{in}}$ ${\displaystyle V_{out}=0}$ ${\displaystyle Q=\pm C_{dark}(V_{in}-V_{out})}$ ${\displaystyle C_{dark}}$ ${\displaystyle V_{out}=0}$ ${\displaystyle Q=\pm C_{dark}V_{in}}$

Si se aplica luz al capacitor, la capacitancia cambiará a un nuevo valor: . Por lo tanto, la carga que las placas pueden acomodar cambiará a , dejando un excedente / déficit de carga en cada placa. El exceso de carga se verá obligado a salir de las placas y fluirá hacia tierra o hacia el terminal de voltaje de entrada. La velocidad del flujo de carga está determinada por la resistencia del resistor y la capacitancia del capacitor. Este flujo de carga hará que se caiga un voltaje distinto de cero a través del resistor y, por lo tanto, un . Después de que la carga deja de fluir, el sistema vuelve al estado estable, todo el voltaje se cae nuevamente a través del capacitor, y nuevamente. ${\displaystyle C_{light}}$ ${\displaystyle Q=\pm C_{light}(V_{in}-V_{out})}$ ${\displaystyle R}$ ${\displaystyle V_{out}}$ ${\displaystyle V_{out}=0}$

Izquierda: diagrama esquemático de la sección transversal de un condensador fotosensible. Centro: diagrama del circuito de un sensor retinomórfico, con el condensador fotosensible en la parte superior. Derecha: respuesta transitoria esperada del sensor retinomórfico a la aplicación de una iluminación constante.

Para que un capacitor cambie su capacitancia bajo iluminación, la constante dieléctrica del aislante entre las placas, ^[13] o las dimensiones efectivas del capacitor, deben depender de la iluminación. Las dimensiones efectivas se pueden cambiar utilizando un material bicapa entre las placas, que consiste en un aislante y un semiconductor . Bajo condiciones de iluminación apropiadas, el semiconductor aumentará su conductividad cuando se exponga a la luz, emulando el proceso de acercar las placas del capacitor y, por lo tanto, aumentando la capacitancia . Para que esto sea posible, el semiconductor debe tener una conductividad eléctrica baja en la oscuridad y tener un intervalo de banda apropiado para permitir la generación de carga bajo iluminación. El dispositivo también debe permitir el acceso óptico al semiconductor, a través de una placa transparente (por ejemplo, utilizando un óxido conductor transparente ).

Aplicaciones

Las cámaras convencionales capturan cada parte de una imagen, independientemente de si es relevante para la tarea. Debido a que se mide cada píxel, los sensores de imagen convencionales solo pueden muestrear el campo visual a velocidades de cuadro relativamente bajas , generalmente de 30 a 240 cuadros por segundo . Incluso en las cámaras profesionales de alta velocidad utilizadas para películas , la velocidad de cuadro está limitada a unas pocas decenas de miles de cuadros por segundo para una imagen de resolución completa. Esta limitación podría representar un cuello de botella en el rendimiento en la identificación de objetos en movimiento a alta velocidad. Esto es particularmente crítico en aplicaciones donde la identificación rápida del movimiento es fundamental, como en los vehículos autónomos .

Por el contrario, los sensores retinomórficos identifican el movimiento por diseño. Esto significa que no tienen una frecuencia de cuadros por segundo y, en cambio, están impulsados ​​por eventos , respondiendo solo cuando es necesario. Por esta razón, se espera que los sensores retinomórficos permitan la identificación de objetos en movimiento mucho más rápidamente que las estrategias convencionales de análisis de imágenes en tiempo real . ^[4] Por lo tanto, se espera que los sensores retinomórficos tengan aplicaciones en vehículos autónomos, ^{[14] [15]} robótica, ^[16] e ingeniería neuromórfica. ^[17]

Teoría

El funcionamiento del sensor retinomórfico se puede cuantificar utilizando técnicas similares a los circuitos RC simples , la única diferencia es que la capacitancia no es constante en función del tiempo en un sensor retinomórfico. ^[18] Si el voltaje de entrada se define como , el voltaje caído a través del resistor como , y el voltaje caído a través del capacitor como , podemos usar la Ley de Voltaje de Kirchhoff para afirmar: ${\displaystyle V_{in}}$ ${\displaystyle V_{out}}$ ${\displaystyle V_{C}}$

${\displaystyle V_{in}=V_{C}+V_{out}}$

Definiendo la corriente que fluye a través de la resistencia como , podemos usar la Ley de Ohm para escribir: ${\displaystyle I}$

${\displaystyle V_{in}=V_{C}+IR}$

A partir de la definición de corriente , podemos escribirla en términos de carga, que fluye desde la placa inferior: ${\displaystyle Q}$

${\displaystyle V_{in}=V_{C}+R{\frac {dQ}{dt}}}$

donde es el tiempo. La carga en las placas del capacitor se define por el producto de la capacitancia, , y el voltaje a través del capacitor, , por lo tanto podemos decir: ${\displaystyle t}$ ${\displaystyle C}$ ${\displaystyle V_{C}}$

${\displaystyle V_{in}=V_{C}+R{\frac {d}{dt}}(CV_{C})}$

Dado que la capacitancia en los sensores retinomórficos es una función del tiempo, no se puede sacar de la derivada como una constante. Utilizando la regla del producto , obtenemos la siguiente ecuación general de la respuesta del sensor retinomórfico: ${\displaystyle C}$

${\displaystyle V_{in}=V_{C}+R{\bigg [}C{\frac {dV_{C}}{dt}}+V_{C}{\frac {dC}{dt}}{\bigg ]}}$

o, en términos del voltaje de salida:

${\displaystyle V_{out}=R{\bigg [}C{\frac {dV_{C}}{dt}}+V_{C}{\frac {dC}{dt}}{\bigg ]}}$

Respuesta a un cambio brusco en la intensidad

Si bien la ecuación anterior es válida para cualquier forma de , no se puede resolver analíticamente a menos que se conozca la forma de entrada del estímulo óptico. La forma más simple de estímulo óptico sería una función escalonada que va de cero a una densidad de potencia óptica finita en un momento . Si bien es poco probable que las aplicaciones del mundo real de los sensores retinomórficos se describan con precisión mediante tales eventos, es una forma útil de comprender y comparar el rendimiento de los sensores retinomórficos. En particular, nos interesa principalmente la altura máxima de inmediatamente después de que se haya encendido la luz. ${\displaystyle C(t)}$ ${\displaystyle P}$ ${\displaystyle t=t_{0}}$ ${\displaystyle V_{out}}$

En este caso la capacitancia podría describirse mediante:

${\displaystyle C(t)={\begin{cases}C_{dark},&{\text{for }}t<t_{0}\\C_{light},&{\text{for }}t\geq t_{0}\end{cases}}}$

La capacitancia bajo iluminación dependerá de . Se sabe ^[19] que los semiconductores tienen una conductancia, , que aumenta con una dependencia de la ley de potencia de la densidad de potencia óptica incidente: , donde es un exponente adimensional. Dado que es linealmente proporcional a la densidad de carga , y la capacitancia es linealmente proporcional a las cargas en las placas para un voltaje dado, la capacitancia de un sensor retinomórfico también tiene una dependencia de la ley de potencia de . La capacitancia como función del tiempo en respuesta a una función escalonada, por lo tanto, se puede escribir como: ${\displaystyle P}$ ${\displaystyle G}$ ${\displaystyle G\propto P^{\gamma }}$ ${\displaystyle \gamma }$ ${\displaystyle G}$ ${\displaystyle P}$

${\displaystyle C(t)={\begin{cases}C_{dark},&{\text{for }}t<t_{0}\\C_{dark}+\alpha _{0}P^{\gamma },&{\text{for }}t\geq t_{0}\end{cases}}}$

donde es el prefactor de capacitancia. Para una función escalonada podemos reescribir nuestra ecuación diferencial como una ecuación diferencial: ${\displaystyle \alpha _{0}}$ ${\displaystyle V_{in}}$

${\displaystyle V_{in}=V_{C}+R{\bigg [}C{\frac {\Delta V_{C}}{\Delta t}}+V_{C}{\frac {\Delta C}{\Delta t}}{\bigg ]}}$

donde es el cambio de voltaje que cae a través del capacitor como resultado de encender la luz, es el cambio de capacitancia como resultado de encender la luz, y es el tiempo que tarda la luz en encenderse. Las variables y se definen como el voltaje que cae a través del capacitor y la capacitancia, respectivamente, inmediatamente después de que se enciende la luz. Ie es de ahora en adelante la abreviatura de , y es de ahora en adelante la abreviatura de . Suponiendo que el sensor se ha mantenido en la oscuridad durante un tiempo suficiente antes de que se encienda la luz, el cambio en se puede escribir como: ${\displaystyle \Delta V_{C}}$ ${\displaystyle \Delta C}$ ${\displaystyle \Delta t}$ ${\displaystyle V_{C}}$ ${\displaystyle C}$ ${\displaystyle V_{C}}$ ${\displaystyle V_{C}(t_{0})}$ ${\displaystyle C}$ ${\displaystyle C(t_{0})}$ ${\displaystyle V_{C}}$

${\displaystyle \Delta V_{C}=V_{C}-V_{in}}$

De manera similar, el cambio en se puede escribir como ${\displaystyle C}$

${\displaystyle \Delta C=\alpha _{0}P^{\gamma }}$

Poniendo esto en la ecuación diferencial para : ${\displaystyle V_{in}}$

${\displaystyle V_{in}=V_{C}+R{\bigg [}C{\frac {V_{C}-V_{in}}{\Delta t}}+V_{C}{\frac {\alpha _{0}P^{\gamma }}{\Delta t}}{\bigg ]}}$

Arriba: Ilustración de la respuesta transitoria (voltaje de salida en función de ) del sensor retinomórfico en respuesta a un cambio escalonado en la intensidad de la luz de 0 a , para valores crecientes de . Abajo: Ilustración de cómo se puede extraer la figura de mérito retinomórfica, , a partir de datos experimentales del sensor retinomórfico. Al trazar la relación de en el eje y contra en el eje x, y luego ajustar con una línea recta, el gradiente dará como resultado . ${\displaystyle V_{out}}$ ${\displaystyle t}$ ${\displaystyle P}$ ${\displaystyle P}$ ${\displaystyle \Lambda }$ ${\displaystyle V_{in}/V_{max}}$ ${\displaystyle 1/{\sqrt {P}}}$ ${\displaystyle 1/\Lambda }$

Multiplicando esto:

${\displaystyle V_{in}\Delta t=V_{C}\Delta t+R{\bigg [}C(V_{C}-V_{in})+V_{C}\alpha _{0}P^{\gamma }{\bigg ]}}$

Dado que suponemos que la luz se enciende muy rápidamente, podemos aproximar . Esto nos lleva a lo siguiente: ${\displaystyle \Delta t\approx 0}$

${\displaystyle V_{C}=V_{in}{\frac {C_{dark}+\alpha _{0}P^{\gamma }}{C_{dark}+2\alpha _{0}P^{\gamma }}}}$

Usando la relación , esto puede entonces escribirse en términos del voltaje de salida: ${\displaystyle V_{in}=V_{C}+V_{out}}$

${\displaystyle V_{max}=V_{in}{\frac {\alpha _{0}P^{\gamma }}{C_{dark}+2\alpha _{0}P^{\gamma }}}}$

Donde hemos definido la altura del pico como , ya que el pico se produce inmediatamente después de encender la luz. ${\displaystyle V_{max}=V_{out}(t_{0})}$

La figura de mérito retinomórfica , , se define como la relación entre el prefactor de capacitancia y la capacitancia del sensor retinomórfico en la oscuridad: ^[18] ${\displaystyle \Lambda }$

${\displaystyle \Lambda ={\frac {\alpha _{0}}{C_{dark}}}}$

Con este parámetro, la relación inversa entre la altura de pico y el voltaje de entrada se puede escribir de la siguiente manera:

${\displaystyle {\frac {V_{in}}{V_{max}}}=2+{\frac {1}{\Lambda P^{\gamma }}}}$

El valor de dependerá de la naturaleza de la recombinación en el semiconductor, ^[20] pero si predomina la recombinación de banda a banda y la densidad de carga de electrones y huecos es igual, . Para sistemas donde esto es aproximadamente cierto ^[21] se puede hacer la siguiente simplificación de la ecuación anterior: ${\displaystyle \gamma }$ ${\displaystyle \gamma =0.5}$

${\displaystyle {\frac {V_{in}}{V_{max}}}=2+{\frac {1}{\Lambda P^{1/2}}}}$

Esta ecuación proporciona un método simple para evaluar la figura de mérito retinomórfica a partir de datos experimentales. Esto se puede llevar a cabo midiendo la altura de pico, , de un sensor retinomórfico en respuesta a un cambio escalonado en la intensidad de la luz de 0 a , para un rango de valores . Trazar como una función de debería dar como resultado una línea recta con un gradiente de . Este enfoque supone que es linealmente proporcional a . ${\displaystyle V_{max}}$ ${\displaystyle P}$ ${\displaystyle P}$ ${\displaystyle V_{in}/V_{max}}$ ${\displaystyle P^{-1/2}}$ ${\displaystyle 1/\Lambda }$ ${\displaystyle V_{max}}$ ${\displaystyle V_{in}}$

Véase también

• Sensor de píxeles activos
• Dispositivo acoplado por carga
• Cámara de eventos
• Ingeniería neuromórfica
• Sensor óptico
• Fotodiodo

Referencias

1. Posch, Christoph; Serrano-Gotarredona, Teresa; Linares-Barranco, Bernabe; Delbruck, Tobi (2014). "Sensores de visión basados ​​en eventos retinomórficos: cámaras bioinspiradas con salida de picos". Actas del IEEE . 102 (10): 1470–1484. doi :10.1109/JPROC.2014.2346153. hdl : 11441/102353 . ISSN  1558-2256. S2CID  11513955.
2. Mahowald, Misha A.; Mead, Carver (1991). "La retina de silicio". Scientific American . 264 (5): 76–82. Código Bibliográfico :1991SciAm.264e..76M. doi :10.1038/scientificamerican0591-76. PMID  2052936 . Consultado el 28 de diciembre de 2021 .
3. Gilder, George F. (2005). El ojo de silicio. WW Norton & Company. ISBN 978-0-393-05763-8.
4. Hambling, David. "La visión de la IA podría mejorarse con sensores que imitan los ojos humanos". New Scientist . Consultado el 28 de octubre de 2021 .
5. "Un ojo para una IA: un dispositivo óptico imita la retina humana". Revista BBC Science Focus . Consultado el 28 de octubre de 2021 .
6. Delbrück, T.; Mead, CA (1989), Touretzky, DS (ed.), Un fotorreceptor electrónico sensible a pequeños cambios en la intensidad, vol. 1, San Mateo, CA: Morgan Kaufmann Publishers, págs. 720–727, ISBN 978-1-55860-015-7, consultado el 23 de diciembre de 2021
7. Mead, Carver A.; Mahowald, MA (1988-01-01). "Un modelo de silicio del procesamiento visual temprano". Redes neuronales . 1 (1): 91–97. doi :10.1016/0893-6080(88)90024-X. ISSN  0893-6080.
8. Adrian, ED; Matthews, Rachel (1927). "La acción de la luz sobre el ojo". Revista de fisiología . 63 (4): 378–414. doi :10.1113/jphysiol.1927.sp002410. ISSN  1469-7793. PMC 1514941 . PMID  16993896. 
9. Delbruck, T. (1993). "Retina de silicio con píxeles ajustados por velocidad y basados ​​en correlación". IEEE Transactions on Neural Networks . 4 (3): 529–541. doi :10.1109/72.217194. ISSN  1941-0093. PMID  18267755.
10. Rao, A.; Akers, LA (1990). "Un sensor inteligente VLSI retinomórfico para el reconocimiento de objetos geométricos invariantes". Conferencia conjunta internacional IJCNN de 1990 sobre redes neuronales . págs. 949–954 vol. 2. doi :10.1109/IJCNN.1990.137961. S2CID  35554142.
11. Boahen, K. (1996). "Sistemas de visión retinomórfica". Actas de la Quinta Conferencia Internacional sobre Microelectrónica para Redes Neuronales . págs. 2–14. doi :10.1109/MNNFS.1996.493766. ISBN 0-8186-7373-7.S2CID62609792  .​
12. Trujillo Herrera, Cinthya; Labram, John G. (7 de diciembre de 2020). "Un sensor retinomórfico de perovskita". Applied Physics Letters . 117 (23): 233501. Bibcode :2020ApPhL.117w3501T. doi : 10.1063/5.0030097 . ISSN  0003-6951. S2CID  230546095.
13. Dillman, Norman (1965). "Efecto fotodieléctrico en semiconductores". Tesis doctoral .
14. IOM3. «Un sensor óptico imita el ojo humano para los coches autónomos». www.iom3.org . Consultado el 29 de diciembre de 2021 .{{cite web}}: CS1 maint: numeric names: authors list (link)
15. "Sensores simples similares a ojos podrían hacer que los sistemas de IA sean más eficientes". Inside Science . 8 de diciembre de 2020 . Consultado el 29 de diciembre de 2021 .
16. "Mayor impulso en el campo de visión del robot". ZME Science . 2021-01-05 . Consultado el 2021-12-29 .
17. "El sensor de perovskita ve más como el ojo humano". Physics World . 2021-01-18 . Consultado el 2021-12-29 .
18. Trujillo Herrera, Cinthya; Labram, John G (16 de septiembre de 2021). "Cuantificación del rendimiento de sensores retinomórficos de perovskita". Journal of Physics D: Applied Physics . 54 (47): 475110. doi :10.1088/1361-6463/ac1d10. ISSN  0022-3727. S2CID  237541793.
19. "Propiedades fotoelectrónicas de semiconductores | Ciencia de los materiales". Cambridge University Press . Consultado el 28 de diciembre de 2021 .
20. Balberg, I. (15 de enero de 1994). "Los productos de movilidad-vida útil de los dos portadores y sus dependencias de la intensidad de la luz en silicio amorfo hidrogenado". Journal of Applied Physics . 75 (2): 914–923. Bibcode :1994JAP....75..914B. doi :10.1063/1.356447. ISSN  0021-8979.
21. Levine, Igal; Gupta, Satyajit; Brenner, Thomas M.; Azulay, Doron; Millo, Oded; Hodes, Gary; Cahen, David; Balberg, Isaac (15 de diciembre de 2016). "Productos de movilidad y duración en películas de MAPbI3". The Journal of Physical Chemistry Letters . 7 (24): 5219–5226. doi :10.1021/acs.jpclett.6b02287. PMID  27973905.