Teorema de Shannon-Hartley

Teorema que indica la velocidad máxima a la que se puede transmitir información

En teoría de la información , el teorema de Shannon-Hartley indica la velocidad máxima a la que se puede transmitir información a través de un canal de comunicaciones de un ancho de banda específico en presencia de ruido . Es una aplicación del teorema de codificación de canales ruidosos al caso arquetípico de un canal de comunicaciones analógico de tiempo continuo sujeto a ruido gaussiano . El teorema establece la capacidad del canal de Shannon para dicho enlace de comunicación, un límite a la cantidad máxima de información libre de errores por unidad de tiempo que se puede transmitir con un ancho de banda específico en presencia de interferencia de ruido, suponiendo que la potencia de la señal está limitada. y que el proceso de ruido gaussiano se caracteriza por una potencia o densidad espectral de potencia conocida. La ley lleva el nombre de Claude Shannon y Ralph Hartley .

Declaración del teorema

El teorema de Shannon-Hartley establece la capacidad del canal , es decir, el límite superior teórico más estricto de la velocidad de información de los datos que se pueden comunicar con una tasa de error arbitrariamente baja utilizando una potencia de señal recibida promedio a través de un canal de comunicación analógico sujeto a ruido blanco gaussiano aditivo ( AWGN) de potencia : ${\displaystyle C}$ ${\displaystyle S}$ ${\displaystyle N}$

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

dónde

• ${\displaystyle C}$es la capacidad del canal en bits por segundo , un límite superior teórico de la tasa de bits neta (tasa de información, a veces denominada ) excluyendo los códigos de corrección de errores; ${\displaystyle I}$
• ${\displaystyle B}$es el ancho de banda del canal en hercios ( ancho de banda de banda de paso en el caso de una señal de paso de banda);
• ${\displaystyle S}$es la potencia promedio de la señal recibida en el ancho de banda (en el caso de una transmisión de banda de paso modulada por portadora, a menudo denominada C ), medida en vatios (o voltios al cuadrado);
• ${\displaystyle N}$es la potencia media del ruido y la interferencia en el ancho de banda, medida en vatios (o voltios al cuadrado); y
• ${\displaystyle S/N}$es la relación señal-ruido (SNR) o la relación portadora-ruido (CNR) de la señal de comunicación con respecto al ruido y la interferencia en el receptor (expresada como una relación de potencia lineal, no como decibeles logarítmicos ).

Desarrollo historico

A finales de la década de 1920, Harry Nyquist y Ralph Hartley desarrollaron un puñado de ideas fundamentales relacionadas con la transmisión de información, particularmente en el contexto del telégrafo como sistema de comunicaciones. En ese momento, estos conceptos fueron avances poderosos individualmente, pero no formaban parte de una teoría integral. En la década de 1940, Claude Shannon desarrolló el concepto de capacidad del canal, basado en parte en las ideas de Nyquist y Hartley, y luego formuló una teoría completa de la información y su transmisión.

tasa de Nyquist

En 1927, Nyquist determinó que el número de pulsos independientes que podían pasar a través de un canal telegráfico por unidad de tiempo estaba limitado al doble del ancho de banda del canal. En notación simbólica,

${\displaystyle f_{p}\leq 2B}$

donde es la frecuencia del pulso (en pulsos por segundo) y es el ancho de banda (en hercios). Más tarde, la cantidad pasó a denominarse tasa de Nyquist , y transmitir a la tasa de pulso límite de pulsos por segundo como señalización a la tasa de Nyquist . Nyquist publicó sus resultados en 1928 como parte de su artículo "Ciertos temas en la teoría de la transmisión telegráfica". ^[1] ${\displaystyle f_{p}}$ ${\displaystyle B}$ ${\displaystyle 2B}$ ${\displaystyle 2B}$

ley de hartley

Durante 1928, Hartley formuló una forma de cuantificar la información y su velocidad de línea (también conocida como velocidad de señalización de datos R bits por segundo). ^[2] Este método, más tarde conocido como ley de Hartley, se convirtió en un precursor importante de la noción más sofisticada de capacidad del canal de Shannon.

Hartley argumentó que el número máximo de niveles de pulso distinguibles que se pueden transmitir y recibir de manera confiable a través de un canal de comunicaciones está limitado por el rango dinámico de la amplitud de la señal y la precisión con la que el receptor puede distinguir los niveles de amplitud. Específicamente, si la amplitud de la señal transmitida está restringida al rango de [− A ... + A ] voltios, y la precisión del receptor es ±Δ V voltios, entonces el número máximo de pulsos distintos M viene dado por

${\displaystyle M=1+{A \over \Delta V}}$.

Al tomar la información por pulso en bits/pulso como el logaritmo de base 2 del número de mensajes distintos M que podrían enviarse, Hartley ^[3] construyó una medida de la velocidad de línea R como:

${\displaystyle R=f_{p}\log _{2}(M),}$

¿Dónde está la frecuencia del pulso, también conocida como velocidad de símbolo, en símbolos/segundo o baudios ? ${\displaystyle f_{p}}$

Luego, Hartley combinó la cuantificación anterior con la observación de Nyquist de que el número de pulsos independientes que podían pasar a través de un canal de ancho de banda en hercios era pulsos por segundo, para llegar a su medida cuantitativa de la velocidad de línea alcanzable. ${\displaystyle B}$ ${\displaystyle 2B}$

La ley de Hartley a veces se cita simplemente como una proporcionalidad entre el ancho de banda analógico , en Hertz y lo que hoy se llama ancho de banda digital , en bit/s. ^[4] Otras veces se cita en esta forma más cuantitativa, como una velocidad de línea alcanzable de bits por segundo: ^[5] ${\displaystyle B}$ ${\displaystyle R}$ ${\displaystyle R}$

${\displaystyle R\leq 2B\log _{2}(M).}$

Hartley no descubrió exactamente cómo debería depender el número M de las estadísticas de ruido del canal, o cómo la comunicación podría hacerse confiable incluso cuando los pulsos de símbolos individuales no pudieran distinguirse de manera confiable hasta niveles M ; Con las estadísticas de ruido gaussiano, los diseñadores de sistemas tuvieron que elegir un valor muy conservador para lograr una tasa de error baja. ${\displaystyle M}$

El concepto de capacidad libre de errores esperaba a Claude Shannon, quien se basó en las observaciones de Hartley sobre una medida logarítmica de información y las observaciones de Nyquist sobre el efecto de las limitaciones del ancho de banda.

El resultado de la tasa de Hartley puede verse como la capacidad de un canal M -ario sin errores de símbolos por segundo. Algunos autores se refieren a ella como una capacidad. Pero un canal sin errores es una idealización, y si M se elige lo suficientemente pequeño como para hacer que el canal ruidoso esté casi libre de errores, el resultado es necesariamente menor que la capacidad de Shannon del canal ruidoso de ancho de banda , que es el resultado de Hartley-Shannon que siguió más adelante. . ${\displaystyle 2B}$ ${\displaystyle B}$

Teorema y capacidad de codificación de canales ruidosos.

El desarrollo de la teoría de la información por parte de Claude Shannon durante la Segunda Guerra Mundial supuso el siguiente gran paso para comprender cuánta información podía comunicarse de forma fiable a través de canales ruidosos. Partiendo de los fundamentos de Hartley, el teorema de codificación de canales ruidosos de Shannon (1948) describe la máxima eficiencia posible de los métodos de corrección de errores frente a los niveles de interferencia de ruido y corrupción de datos. ^{[6] [7]} La ​​prueba del teorema muestra que un código de corrección de errores construido aleatoriamente es esencialmente tan bueno como el mejor código posible; El teorema se demuestra mediante la estadística de dichos códigos aleatorios.

El teorema de Shannon muestra cómo calcular la capacidad de un canal a partir de una descripción estadística de un canal y establece que dado un canal ruidoso con capacidad e información transmitida a una velocidad de línea , entonces si ${\displaystyle C}$ ${\displaystyle R}$

${\displaystyle R<C}$

Existe una técnica de codificación que permite reducir arbitrariamente la probabilidad de error en el receptor. Esto significa que, en teoría, es posible transmitir información casi sin errores hasta casi un límite de bits por segundo. ${\displaystyle C}$

Lo contrario también es importante. Si

${\displaystyle R>C}$

la probabilidad de error en el receptor aumenta sin límite a medida que aumenta la velocidad. Por tanto, no se puede transmitir ninguna información útil más allá de la capacidad del canal. El teorema no aborda la rara situación en la que tasa y capacidad son iguales.

El teorema de Shannon-Hartley establece cuál es la capacidad del canal para un canal de tiempo continuo de ancho de banda finito sujeto a ruido gaussiano. Conecta el resultado de Hartley con el teorema de capacidad del canal de Shannon en una forma que es equivalente a especificar M en la fórmula de velocidad de línea de Hartley en términos de una relación señal-ruido, pero logrando confiabilidad a través de codificación de corrección de errores en lugar de a través de niveles de pulso distinguibles de manera confiable. .

Si existiera un canal analógico sin ruido, se podrían transmitir cantidades ilimitadas de datos sin errores por unidad de tiempo (tenga en cuenta que un canal analógico de ancho de banda infinito no podría transmitir cantidades ilimitadas de datos sin errores sin potencia de señal infinita). Sin embargo, los canales reales están sujetos a limitaciones impuestas tanto por el ancho de banda finito como por el ruido distinto de cero.

El ancho de banda y el ruido afectan la velocidad a la que se puede transmitir la información a través de un canal analógico. Las limitaciones de ancho de banda por sí solas no imponen un límite a la velocidad máxima de información porque aún es posible que la señal adopte un número indefinidamente grande de niveles de voltaje diferentes en cada pulso de símbolo, asignando a cada nivel ligeramente diferente un significado o secuencia de bits diferente. . Sin embargo, teniendo en cuenta las limitaciones de ruido y ancho de banda, existe un límite en la cantidad de información que puede transferirse mediante una señal de potencia limitada, incluso cuando se utilizan técnicas sofisticadas de codificación multinivel.

En el canal considerado por el teorema de Shannon-Hartley, el ruido y la señal se combinan mediante suma. Es decir, el receptor mide una señal que es igual a la suma de la señal que codifica la información deseada y una variable aleatoria continua que representa el ruido. Esta adición crea incertidumbre en cuanto al valor de la señal original. Si el receptor tiene alguna información sobre el proceso aleatorio que genera el ruido, en principio se puede recuperar la información de la señal original considerando todos los estados posibles del proceso de ruido. En el caso del teorema de Shannon-Hartley, se supone que el ruido se genera mediante un proceso gaussiano con una varianza conocida. Dado que la varianza de un proceso gaussiano es equivalente a su potencia, es convencional llamar a esta varianza potencia de ruido.

Dicho canal se denomina canal de ruido gaussiano blanco aditivo, porque se añade ruido gaussiano a la señal; "blanco" significa cantidades iguales de ruido en todas las frecuencias dentro del ancho de banda del canal. Este tipo de ruido puede deberse tanto a fuentes aleatorias de energía como también a errores de codificación y de medición en el emisor y en el receptor respectivamente. Dado que las sumas de variables aleatorias gaussianas independientes son en sí mismas variables aleatorias gaussianas, esto simplifica convenientemente el análisis, si se supone que dichas fuentes de error también son gaussianas e independientes.

Implicaciones del teorema

Comparación de la capacidad de Shannon con la ley de Hartley

Comparando la capacidad del canal con la tasa de información de la ley de Hartley, podemos encontrar el número efectivo de niveles distinguibles M : ^[8]

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

La raíz cuadrada convierte efectivamente la relación de potencia nuevamente en una relación de voltaje, por lo que el número de niveles es aproximadamente proporcional a la relación entre la amplitud RMS de la señal y la desviación estándar del ruido.

Esta similitud en la forma entre la capacidad de Shannon y la ley de Hartley no debe interpretarse en el sentido de que los niveles de pulso puedan enviarse literalmente sin confusión alguna. Se necesitan más niveles para permitir la codificación redundante y la corrección de errores, pero la velocidad de datos neta que se puede alcanzar con la codificación es equivalente a usar la de la ley de Hartley. ${\displaystyle M}$ ${\displaystyle M}$

Caso dependiente de la frecuencia (ruido de color)

En la versión simple anterior, la señal y el ruido no están completamente correlacionados, en cuyo caso es la potencia total de la señal recibida y el ruido juntos. Una generalización de la ecuación anterior para el caso en el que el ruido aditivo no es blanco (o que no es constante con la frecuencia en el ancho de banda) se obtiene tratando el canal como muchos canales gaussianos estrechos e independientes en paralelo: ${\displaystyle S+N}$ ${\displaystyle S/N}$

${\displaystyle C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df}$

dónde

• ${\displaystyle C}$es la capacidad del canal en bits por segundo;
• ${\displaystyle B}$es el ancho de banda del canal en Hz;
• ${\displaystyle S(f)}$es el espectro de potencia de la señal
• ${\displaystyle N(f)}$es el espectro de potencia del ruido
• ${\displaystyle f}$es la frecuencia en Hz.

Nota: el teorema sólo se aplica al ruido de proceso estacionario gaussiano . La forma en que esta fórmula introduce el ruido dependiente de la frecuencia no puede describir todos los procesos de ruido en tiempo continuo. Por ejemplo, considere un proceso de ruido que consiste en agregar una onda aleatoria cuya amplitud es 1 o −1 en cualquier momento, y un canal que agrega dicha onda a la señal fuente. Los componentes de frecuencia de dicha onda son muy dependientes. Aunque dicho ruido puede tener una potencia elevada, es bastante fácil transmitir una señal continua con mucha menos potencia de la que se necesitaría si el ruido subyacente fuera una suma de ruidos independientes en cada banda de frecuencia.

Aproximaciones

Capacidad del canal AWGN con el régimen de potencia limitada y el régimen de ancho de banda limitado indicados. Aquí, ; B y C se pueden escalar proporcionalmente para otros valores. ${\displaystyle {\frac {S}{N_{0}}}=1}$

Para relaciones señal-ruido grandes o pequeñas y constantes, la fórmula de capacidad se puede aproximar:

Caso de ancho de banda limitado

Cuando la SNR es grande ( S / N ≫ 1 ), el logaritmo se aproxima por

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},}$

en cuyo caso la capacidad es logarítmica en potencia y aproximadamente lineal en ancho de banda (no del todo lineal, ya que N aumenta con el ancho de banda, impartiendo un efecto logarítmico). A esto se le llama régimen de ancho de banda limitado .

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)} }$

dónde

${\displaystyle \mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.}$

Caso de energía limitada

De manera similar, cuando la SNR es pequeña (si ), aplicando la aproximación al logaritmo: ${\displaystyle S/N\ll 1}$

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};}$

entonces la capacidad es lineal en potencia. A esto se le llama régimen de poder limitado .

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N}.}$

En esta aproximación de baja SNR, la capacidad es independiente del ancho de banda si el ruido es blanco, de la densidad espectral en vatios por hercio, en cuyo caso la potencia total del ruido es . ${\displaystyle N_{0}}$ ${\displaystyle N=B\cdot N_{0}}$

${\displaystyle C\approx 1.44\cdot {S \over N_{0}}}$

Ejemplos

1. Con una SNR de 0 dB (potencia de señal = potencia de ruido), la capacidad en bits/s es igual al ancho de banda en hercios.
2. Si la SNR es de 20 dB y el ancho de banda disponible es de 4 kHz, lo cual es apropiado para comunicaciones telefónicas, entonces C = 4000 log ₂ (1 + 100) = 4000 log ₂ (101) = 26,63 kbit/s. Tenga en cuenta que el valor de S/N = 100 es equivalente a la SNR de 20 dB.
3. Si el requisito es transmitir a 50 kbit/s y se utiliza un ancho de banda de 10 kHz, entonces la S/N mínima requerida viene dada por 50000 = 10000 log ₂ (1+S/N), por lo que C/B = 5 entonces S/N = 2 ⁵ − 1 = 31, correspondiente a una SNR de 14,91 dB (10 x log ₁₀ (31)).
4. ¿Cuál es la capacidad del canal para una señal que tiene un ancho de banda de 1 MHz, recibida con una SNR de −30 dB? Eso significa una señal profundamente enterrada en ruido. −30 dB significa una S/N = 10 ⁻³ . Esto conduce a una velocidad máxima de información de 10 ⁶ log ₂ (1 + 10 ⁻³ ) = 1443 bit/s. Estos valores son típicos de las señales de alcance recibidas del GPS, donde el mensaje de navegación se envía a 50 bit/s (por debajo de la capacidad del canal para la S/N dada), y cuyo ancho de banda se extiende a alrededor de 1 MHz por un pseudo- multiplicación del ruido antes de la transmisión.
5. Como se indicó anteriormente, la capacidad del canal es proporcional al ancho de banda del canal y al logaritmo de la SNR. Esto significa que la capacidad del canal se puede aumentar linealmente ya sea aumentando el ancho de banda del canal dado un requisito de SNR fijo o, con un ancho de banda fijo, usando modulaciones de orden superior que necesitan una SNR muy alta para funcionar. A medida que aumenta la velocidad de modulación, mejora la eficiencia espectral , pero a costa del requisito de SNR. Por lo tanto, hay un aumento exponencial en el requisito de SNR si se adopta un 16QAM o 64QAM ; sin embargo, la eficiencia espectral mejora.

Ver también

• Teorema de muestreo de Nyquist-Shannon
• Mib/N0

Notas

1. Nyquist, Harry (abril de 1928). "Ciertos temas de la teoría de la transmisión telegráfica" (PDF) . Trans. AIEE . 47 (2): 617–44. Código bibliográfico : 1928TAIEE..47..617N. doi :10.1109/T-AIEE.1928.5055024.También 2002 Reimpresión doi :10.1109/5.989873
2. Hartley, RVL (julio de 1928). «Transmisión de Información» (PDF) . Revista técnica del sistema Bell . 7 (3): 535–563. doi :10.1002/j.1538-7305.1928.tb01236.x.
3. Bell, DA (1962). Teoría de la información; y sus aplicaciones de ingeniería (3ª ed.). Nueva York: Pitman. ISBN 9780273417576.
4. Gokhale, Anu A. (2004). Introducción a las Telecomunicaciones (2ª ed.). Aprendizaje Thomson Delmar. ISBN 1-4018-5648-9.
5. Dunlop, Juan; Smith, D. Geoffrey (1998). Ingeniería en telecomunicaciones. Prensa CRC. ISBN 0-7487-4044-9.
6. Shannon, CE (1998) [1949]. La teoría matemática de la comunicación (PDF) . Urbana, IL: Prensa de la Universidad de Illinois.
7. Shannon, CE (enero de 1949). «Comunicación en presencia de ruido» (PDF) . Actas del Instituto de Ingenieros de Radio . 37 (1): 10–21. doi :10.1109/JRPROC.1949.232969. S2CID  52873253. Archivado desde el original (PDF) el 8 de febrero de 2010.
8. Pierce, John Robinson (1980). Introducción a la teoría de la información: símbolos, señales y ruido . Mensajero. ISBN 0-486-24061-4.

Referencias

• Taub, Herbert; Schilling, Donald L. (1986). Principios de los sistemas de comunicación . McGraw-Hill. ISBN 978-0-07-062956-1. OCLC  12107009.
• Wozencraft, John M.; Jacobs, Irwin Mark (1965). Principios de la Ingeniería de Comunicaciones . Wiley. ISBN 978-0-471-96240-3. OCLC  1325622.

enlaces externos

• Libro de texto en línea: Teoría de la información, inferencia y algoritmos de aprendizaje, de David MacKay : ofrece una introducción entretenida y exhaustiva a la teoría de Shannon, que incluye dos pruebas del teorema de codificación de canales ruidosos. Este texto también analiza los métodos más modernos de la teoría de la codificación, como los códigos de verificación de paridad de baja densidad y los códigos Turbo .
• Artículo de MIT News sobre el límite de Shannon