Siguiendo los términos del teorema de codificación de canal ruidoso , la capacidad de canal de un canal dado es la tasa de información más alta (en unidades de información por unidad de tiempo) que se puede lograr con una probabilidad de error arbitrariamente pequeña. [1] [2]
La teoría de la información , desarrollada por Claude E. Shannon en 1948, define el concepto de capacidad de un canal y proporciona un modelo matemático para calcularla. El resultado clave establece que la capacidad del canal, tal como se definió anteriormente, está dada por el máximo de la información mutua entre la entrada y la salida del canal, donde la maximización se da con respecto a la distribución de entrada. [3]
El concepto de capacidad del canal ha sido fundamental para el desarrollo de los modernos sistemas de comunicación alámbricos e inalámbricos, con el advenimiento de nuevos mecanismos de codificación de corrección de errores que han permitido alcanzar un rendimiento muy cercano a los límites prometidos por la capacidad del canal.
Definición formal
El modelo matemático básico para un sistema de comunicación es el siguiente:
dónde:
es el mensaje que se quiere transmitir;
es el símbolo de entrada del canal ( es una secuencia de símbolos) tomado en un alfabeto ;
es el símbolo de salida del canal ( es una secuencia de símbolos) tomado en un alfabeto ;
es la estimación del mensaje transmitido;
es la función de codificación para un bloque de longitud ;
que, a su vez, induce una información mutua . La capacidad del canal se define como
donde el supremo se asume sobre todas las posibles elecciones de .
Aditividad de la capacidad del canal
La capacidad del canal es aditiva sobre los canales independientes. [4] Esto significa que el uso de dos canales independientes de manera combinada proporciona la misma capacidad teórica que si se los usara de forma independiente. De manera más formal, sean y dos canales independientes modelados como se indica arriba; que tienen un alfabeto de entrada y un alfabeto de salida . Idem para . Definimos el canal de producto como
Este teorema establece:
Prueba
Primero demostramos que .
Sean y dos variables aleatorias independientes. Sea una variable aleatoria correspondiente a la salida de a través del canal , y para a través de .
Por definición .
Dado que y son independientes, así como y , es independiente de . Podemos aplicar la siguiente propiedad de información mutua :
Por ahora sólo necesitamos encontrar una distribución tal que . De hecho, y , dos distribuciones de probabilidad para y lograr y , son suficientes:
es decir.
Ahora demostremos que .
Sea alguna distribución para la definición del canal y la salida correspondiente . Sea el alfabeto de , para , y análogamente y .
Por definición del canal de producto, . Para un par dado , podemos reescribirlo como:
Sumando esta igualdad sobre todos los , obtenemos .
Ahora podemos dar un límite superior sobre la información mutua:
Esta relación se conserva en el supremo. Por lo tanto
Combinando las dos desigualdades que hemos demostrado, obtenemos el resultado del teorema:
Capacidad de Shannon de un gráfico
Si G es un grafo no dirigido , se puede utilizar para definir un canal de comunicaciones en el que los símbolos son los vértices del grafo, y dos palabras de código pueden confundirse entre sí si sus símbolos en cada posición son iguales o adyacentes. La complejidad computacional de encontrar la capacidad de Shannon de un canal de este tipo permanece abierta, pero se puede limitar superiormente mediante otro invariante de grafo importante, el número de Lovász . [5]
Teorema de codificación de canal ruidoso
El teorema de codificación de canal ruidoso establece que para cualquier probabilidad de error ε > 0 y para cualquier tasa de transmisión R menor que la capacidad del canal C , existe un esquema de codificación y decodificación que transmite datos a una tasa R cuya probabilidad de error es menor que ε, para una longitud de bloque suficientemente grande. Además, para cualquier tasa mayor que la capacidad del canal, la probabilidad de error en el receptor llega a 0,5 a medida que la longitud del bloque tiende a infinito.
C se mide en bits por segundo si el logaritmo se toma en base 2, o nats por segundo si se utiliza el logaritmo natural , suponiendo que B está en hercios ; las potencias de señal y ruido S y N se expresan en una unidad de potencia lineal (como vatios o voltios 2 ). Dado que las cifras de S/N a menudo se expresan en dB , puede ser necesaria una conversión. Por ejemplo, una relación señal/ruido de 30 dB corresponde a una relación de potencia lineal de .
Estimación de la capacidad del canal
Para determinar la capacidad del canal, es necesario encontrar la distribución que logre la capacidad y evaluar la información mutua . La investigación se ha centrado principalmente en el estudio de canales de ruido aditivo bajo ciertas restricciones de potencia y distribuciones de ruido, ya que los métodos analíticos no son factibles en la mayoría de los demás escenarios. Por lo tanto, en la literatura se han propuesto enfoques alternativos como la investigación sobre el soporte de entrada, [6] relajaciones [7] y límites de capacidad, [8] .
La capacidad de un canal discreto sin memoria se puede calcular utilizando el algoritmo Blahut-Arimoto .
El aprendizaje profundo se puede utilizar para estimar la capacidad del canal. De hecho, la capacidad del canal y la distribución de logro de capacidad de cualquier canal vectorial continuo sin memoria en tiempo discreto se pueden obtener utilizando CORTICAL, [9] un marco cooperativo inspirado en redes generativas antagónicas . CORTICAL consta de dos redes cooperativas: un generador con el objetivo de aprender a muestrear de la distribución de entrada de logro de capacidad, y un discriminador con el objetivo de aprender a distinguir entre muestras y estimaciones de entrada-salida de canal pareadas y no pareadas .
Capacidad de canal en comunicaciones inalámbricas
Esta sección [10] se centra en el escenario de punto a punto con una sola antena. Para conocer la capacidad de canal en sistemas con múltiples antenas, consulte el artículo sobre MIMO .
Canal AWGN de banda limitada
Capacidad del canal AWGN con el régimen de potencia limitada y el régimen de ancho de banda limitado indicados. Aquí, B y C se pueden escalar proporcionalmente para otros valores.
Si la potencia recibida promedio es [W], el ancho de banda total está en hercios y la densidad espectral de potencia de ruido es [W/Hz], la capacidad del canal AWGN es
[bits/s],
donde es la relación señal-ruido (SNR) recibida. Este resultado se conoce como el teorema de Shannon-Hartley . [11]
Cuando la relación señal-ruido es grande (SNR ≫ 0 dB), la capacidad es logarítmica en potencia y aproximadamente lineal en ancho de banda. Esto se denomina régimen de ancho de banda limitado .
Cuando la relación señal-ruido es pequeña (SNR ≪ 0 dB), la capacidad es lineal en potencia pero insensible al ancho de banda. Esto se denomina régimen de potencia limitada .
El régimen de ancho de banda limitado y el régimen de potencia limitada se ilustran en la figura.
donde y es la ganancia del subcanal , con elegido para cumplir con la restricción de potencia.
Canal de desvanecimiento lento
En un canal de desvanecimiento lento , donde el tiempo de coherencia es mayor que el requisito de latencia, no hay una capacidad definida ya que la tasa máxima de comunicaciones confiables admitidas por el canal, depende de la ganancia aleatoria del canal , que es desconocida para el transmisor. Si el transmisor codifica datos a una tasa de [bits/s/Hz], existe una probabilidad distinta de cero de que la probabilidad de error de decodificación no se pueda hacer arbitrariamente pequeña.
,
En cuyo caso se dice que el sistema está en interrupción. Con una probabilidad distinta de cero de que el canal esté en desvanecimiento profundo, la capacidad del canal de desvanecimiento lento en sentido estricto es cero. Sin embargo, es posible determinar el valor más grande de tal que la probabilidad de interrupción sea menor que . Este valor se conoce como la capacidad de interrupción.
Canal de desvanecimiento rápido
En un canal de desvanecimiento rápido , donde el requisito de latencia es mayor que el tiempo de coherencia y la longitud de la palabra de código abarca muchos períodos de coherencia, se puede promediar sobre muchos desvanecimientos de canal independientes codificando sobre una gran cantidad de intervalos de tiempo de coherencia. Por lo tanto, es posible lograr una tasa confiable de comunicación de [bits/s/Hz] y tiene sentido hablar de este valor como la capacidad del canal de desvanecimiento rápido.
Capacidad de retroalimentación
La capacidad de retroalimentación es la velocidad máxima a la que se puede transmitir información de manera confiable, por unidad de tiempo, a través de un canal de comunicación punto a punto en el que el receptor realimenta las salidas del canal al transmisor. El análisis teórico de la información de los sistemas de comunicación que incorporan retroalimentación es más complicado y desafiante que sin retroalimentación. Posiblemente, esta fue la razón por la que CE Shannon eligió la retroalimentación como tema de la primera conferencia Shannon, dictada en el Simposio Internacional IEEE sobre Teoría de la Información de 1973 en Ashkelon, Israel.
La capacidad de retroalimentación se caracteriza por el máximo de la información dirigida entre las entradas del canal y las salidas del canal, donde la maximización es con respecto al condicionamiento causal de la entrada dada la salida. La información dirigida fue acuñada por James Massey [12] en 1990, quien demostró que es un límite superior en la capacidad de retroalimentación. Para canales sin memoria, Shannon demostró [13] que la retroalimentación no aumenta la capacidad, y la capacidad de retroalimentación coincide con la capacidad del canal caracterizada por la información mutua entre la entrada y la salida. La capacidad de retroalimentación se conoce como una expresión de forma cerrada solo para varios ejemplos como: el canal Trapdoor, [14] el canal Ising, [15] [16] el canal de borrado binario con una restricción de entrada de no unos consecutivos, canales NOST.
El modelo matemático básico para un sistema de comunicación es el siguiente:
Comunicación con retroalimentación
Aquí está la definición formal de cada elemento (donde la única diferencia con respecto a la capacidad de no retroalimentación es la definición del codificador):
es el mensaje que se quiere transmitir, expresado en forma de alfabeto ;
es el símbolo de entrada del canal ( es una secuencia de símbolos) tomado en un alfabeto ;
es el símbolo de salida del canal ( es una secuencia de símbolos) tomado en un alfabeto ;
es la estimación del mensaje transmitido;
es la función de codificación en el momento , para un bloque de longitud ;
es la función de decodificación para un bloque de longitud .
Es decir, para cada vez que existe una retroalimentación de la salida anterior tal que el codificador tiene acceso a todas las salidas anteriores . Un código es un par de asignaciones de codificación y decodificación con , y se distribuye uniformemente. Se dice que una tasa es alcanzable si existe una secuencia de códigos tal que la probabilidad promedio de error: tiende a cero cuando .
La capacidad de retroalimentación se denota por y se define como la máxima entre todas las tasas alcanzables.
Principales resultados sobre la capacidad de retroalimentación
Sean y sean modelados como variables aleatorias. El condicionamiento causal describe el canal dado. La elección de la distribución condicional causal determina la distribución conjunta debido a la regla de la cadena para el condicionamiento causal [17] que, a su vez, induce una información dirigida .
La capacidad de retroalimentación viene dada por
,
donde el supremo se asume sobre todas las posibles elecciones de .
Capacidad de retroalimentación gaussiana
Cuando el ruido gaussiano está coloreado, el canal tiene memoria. Consideremos, por ejemplo, el caso simple de un proceso de ruido de modelo autorregresivo donde es un proceso iid.
Técnicas de solución
La capacidad de retroalimentación es difícil de resolver en el caso general. Existen algunas técnicas que están relacionadas con la teoría de control y los procesos de decisión de Markov si el canal es discreto.
Capacidad del canal AWGN con diversas restricciones en la entrada del canal (demostración interactiva)
Referencias
^ Saleem Bhatti. "Capacidad de canal". Notas de clase para la maestría en redes de comunicación de datos y sistemas distribuidos D51: Comunicaciones y redes básicas . Archivado desde el original el 21 de agosto de 2007.
^ Jim Lesurf. "¡Las señales parecen ruido!". Información y medición, 2.ª ed .
^ Thomas M. Cover, Joy A. Thomas (2006). Elementos de la teoría de la información. John Wiley & Sons, Nueva York. ISBN9781118585771.
^ Portada, Thomas M.; Thomas, Joy A. (2006). "Capítulo 7: Capacidad del canal". Elementos de la teoría de la información (segunda edición). Wiley-Interscience. págs. 206-207. ISBN978-0-471-24195-9.
^ Smith, Joel G. (1971). "La capacidad de información de los canales gaussianos esclareanos con restricciones de amplitud y varianza". Información y control . 18 (3): 203–219. doi :10.1016/S0019-9958(71)90346-9.
^ Huang, J.; Meyn, SP (2005). "Caracterización y cálculo de distribuciones óptimas para codificación de canales". IEEE Transactions on Information Theory . 51 (7): 2336–2351. doi :10.1109/TIT.2005.850108. ISSN 0018-9448. S2CID 2560689.
^ McKellips, AL (2004). "Límites simples y estrictos de capacidad para el canal de tiempo discreto limitado por pico". Simposio internacional sobre teoría de la información, 2004. ISIT 2004. Actas . IEEE. p. 348. doi :10.1109/ISIT.2004.1365385. ISBN.978-0-7803-8280-0.S2CID41462226 .
^ Letizia, Nunzio A.; Tonello, Andrea M.; Poor, H. Vincent (2023). "Aprendizaje de la capacidad de canal cooperativo". IEEE Communications Letters . 27 (8): 1984–1988. arXiv : 2305.13493 . doi :10.1109/LCOMM.2023.3282307. ISSN 1089-7798.
^ David Tse, Pramod Viswanath (2005), Fundamentos de la comunicación inalámbrica, Cambridge University Press, Reino Unido, ISBN9780521845274
^ Manual de ingeniería eléctrica. Asociación de investigación y educación. 1996. pág. D-149. ISBN9780878919819.
^ Massey, James (noviembre de 1990). "Causalidad, retroalimentación e información dirigida" (PDF) . Proc. 1990 Int. Symp. On Information Theory and Its Applications (ISITA-90), Waikiki, HI. : 303–305.
^ Shannon, C. (septiembre de 1956). "La capacidad de error cero de un canal ruidoso". IEEE Transactions on Information Theory . 2 (3): 8–19. doi :10.1109/TIT.1956.1056798.
^ Permuter, Haim; Cuff, Paul; Van Roy, Benjamin; Weissman, Tsachy (julio de 2008). "Capacidad del canal de la trampilla con retroalimentación" (PDF) . IEEE Trans. Inf. Theory . 54 (7): 3150–3165. arXiv : cs/0610047 . doi :10.1109/TIT.2008.924681. S2CID 1265.
^ Elishco, Ohad; Permuter, Haim (septiembre de 2014). "Capacidad y codificación para el canal de Ising con retroalimentación". IEEE Transactions on Information Theory . 60 (9): 5138–5149. arXiv : 1205.4674 . doi :10.1109/TIT.2014.2331951. S2CID 9761759.
^ Aharoni, Ziv; Sabag, Oron; Permuter, Haim H. (septiembre de 2022). "Capacidad de retroalimentación de canales Ising con alfabeto grande mediante aprendizaje por refuerzo". IEEE Transactions on Information Theory . 68 (9): 5637–5656. doi :10.1109/TIT.2022.3168729. S2CID 248306743.
^ Permuter, Haim Henry; Weissman, Tsachy; Goldsmith, Andrea J. (febrero de 2009). "Canales de estados finitos con retroalimentación determinista invariante en el tiempo". IEEE Transactions on Information Theory . 55 (2): 644–662. arXiv : cs/0608070 . doi :10.1109/TIT.2008.2009849. S2CID 13178.