Teorema de Shannon-Hartley

Teorema que indica la velocidad máxima a la que se puede transmitir la información

En teoría de la información , el teorema de Shannon-Hartley indica la velocidad máxima a la que se puede transmitir información a través de un canal de comunicaciones de un ancho de banda especificado en presencia de ruido . Es una aplicación del teorema de codificación de canal ruidoso al caso arquetípico de un canal de comunicaciones analógico de tiempo continuo sujeto a ruido gaussiano . El teorema establece la capacidad del canal de Shannon para dicho enlace de comunicación, un límite en la cantidad máxima de información libre de errores por unidad de tiempo que se puede transmitir con un ancho de banda especificado en presencia de la interferencia de ruido, suponiendo que la potencia de la señal está limitada y que el proceso de ruido gaussiano se caracteriza por una potencia conocida o densidad espectral de potencia. La ley recibe su nombre de Claude Shannon y Ralph Hartley .

Enunciado del teorema

El teorema de Shannon-Hartley establece la capacidad del canal , es decir, el límite superior teórico más estricto de la tasa de información de datos que se pueden comunicar con una tasa de error arbitrariamente baja utilizando una potencia de señal recibida promedio a través de un canal de comunicación analógico sujeto a ruido gaussiano blanco aditivo (AWGN) de potencia : ${\displaystyle C}$ ${\displaystyle S}$ ${\displaystyle N}$

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

dónde

• ${\displaystyle C}$es la capacidad del canal en bits por segundo , un límite superior teórico de la tasa de bits neta (tasa de información, a veces denominada ) excluyendo los códigos de corrección de errores; ${\displaystyle I}$
• ${\displaystyle B}$es el ancho de banda del canal en hercios ( ancho de banda de paso en el caso de una señal de paso de banda);
• ${\displaystyle S}$es la potencia promedio de la señal recibida en el ancho de banda (en el caso de una transmisión de banda de paso modulada por portadora, a menudo denominada C ), medida en vatios (o voltios al cuadrado);
• ${\displaystyle N}$es la potencia media del ruido y la interferencia en el ancho de banda, medida en vatios (o voltios al cuadrado); y
• ${\displaystyle S/N}$es la relación señal-ruido (SNR) o la relación portadora-ruido (CNR) de la señal de comunicación al ruido y la interferencia en el receptor (expresada como una relación de potencia lineal, no como decibeles logarítmicos ).

Desarrollo histórico

A finales de la década de 1920, Harry Nyquist y Ralph Hartley desarrollaron un puñado de ideas fundamentales relacionadas con la transmisión de información, en particular en el contexto del telégrafo como sistema de comunicaciones. En su momento, estos conceptos fueron importantes avances por separado, pero no formaban parte de una teoría integral. En la década de 1940, Claude Shannon desarrolló el concepto de capacidad de canal, basado en parte en las ideas de Nyquist y Hartley, y luego formuló una teoría completa de la información y su transmisión.

Tasa de Nyquist

En 1927, Nyquist determinó que la cantidad de pulsos independientes que se pueden enviar a través de un canal telegráfico por unidad de tiempo está limitada al doble del ancho de banda del canal. En notación simbólica,

${\displaystyle f_{p}\leq 2B}$

donde es la frecuencia de pulso (en pulsos por segundo) y es el ancho de banda (en hercios). La cantidad más tarde pasó a llamarse tasa de Nyquist y la transmisión a la tasa de pulso límite de pulsos por segundo como señalización a la tasa de Nyquist . Nyquist publicó sus resultados en 1928 como parte de su artículo "Ciertos temas en la teoría de transmisión telegráfica". ^[1] ${\displaystyle f_{p}}$ ${\displaystyle B}$ ${\displaystyle 2B}$ ${\displaystyle 2B}$

Ley de Hartley

Durante 1928, Hartley formuló una forma de cuantificar la información y su velocidad de línea (también conocida como tasa de señalización de datos R bits por segundo). ^[2] Este método, conocido más tarde como la ley de Hartley, se convirtió en un precursor importante de la noción más sofisticada de capacidad del canal de Shannon.

Hartley argumentó que el número máximo de niveles de pulsos distinguibles que se pueden transmitir y recibir de manera confiable a través de un canal de comunicaciones está limitado por el rango dinámico de la amplitud de la señal y la precisión con la que el receptor puede distinguir los niveles de amplitud. Específicamente, si la amplitud de la señal transmitida está restringida al rango de [− A ... + A ] voltios, y la precisión del receptor es ±Δ V voltios, entonces el número máximo de pulsos distintos M está dado por

${\displaystyle M=1+{A \over \Delta V}}$.

Al tomar la información por pulso en bit/pulso como el logaritmo en base 2 del número de mensajes distintos M que podrían enviarse, Hartley ^[3] construyó una medida de la velocidad de línea R como:

${\displaystyle R=f_{p}\log _{2}(M),}$

donde es la frecuencia del pulso, también conocida como frecuencia de símbolo, en símbolos/segundo o baudios . ${\displaystyle f_{p}}$

Hartley luego combinó la cuantificación anterior con la observación de Nyquist de que la cantidad de pulsos independientes que podían pasar a través de un canal de ancho de banda de hercios era pulsos por segundo, para llegar a su medida cuantitativa de la velocidad de línea alcanzable. ${\displaystyle B}$ ${\displaystyle 2B}$

La ley de Hartley se cita a veces simplemente como una proporcionalidad entre el ancho de banda analógico , , en hercios y lo que hoy se llama el ancho de banda digital , , en bits/s. ^[4] Otras veces se cita en esta forma más cuantitativa, como una velocidad de línea alcanzable de bits por segundo: ^[5] ${\displaystyle B}$ ${\displaystyle R}$ ${\displaystyle R}$

${\displaystyle R\leq 2B\log _{2}(M).}$

Hartley no determinó exactamente cómo el número M debería depender de las estadísticas de ruido del canal, o cómo la comunicación podía hacerse confiable incluso cuando los pulsos de símbolos individuales no podían distinguirse de manera confiable hasta niveles M ; con las estadísticas de ruido gaussiano, los diseñadores de sistemas tuvieron que elegir un valor muy conservador para lograr una tasa de error baja. ${\displaystyle M}$

El concepto de una capacidad libre de errores esperaba a Claude Shannon, quien se basó en las observaciones de Hartley sobre una medida logarítmica de información y las observaciones de Nyquist sobre el efecto de las limitaciones del ancho de banda.

El resultado de la tasa de Hartley puede verse como la capacidad de un canal M -ario sin errores de símbolos por segundo. Algunos autores se refieren a él como una capacidad. Pero un canal sin errores de este tipo es una idealización, y si se elige M lo suficientemente pequeño como para hacer que el canal ruidoso sea casi sin errores, el resultado es necesariamente menor que la capacidad de Shannon del canal ruidoso de ancho de banda , que es el resultado de Hartley-Shannon que siguió más tarde. ${\displaystyle 2B}$ ${\displaystyle B}$

Teorema de codificación de canal ruidoso y capacidad

El desarrollo de la teoría de la información por parte de Claude Shannon durante la Segunda Guerra Mundial proporcionó el siguiente gran paso en la comprensión de cuánta información se podía comunicar de manera confiable a través de canales ruidosos. Basándose en los fundamentos de Hartley, el teorema de codificación de canal ruidoso de Shannon (1948) describe la máxima eficiencia posible de los métodos de corrección de errores frente a los niveles de interferencia de ruido y corrupción de datos. ^{[6] [7]} La ​​prueba del teorema muestra que un código de corrección de errores construido aleatoriamente es esencialmente tan bueno como el mejor código posible; el teorema se demuestra a través de las estadísticas de dichos códigos aleatorios.

El teorema de Shannon muestra cómo calcular la capacidad de un canal a partir de una descripción estadística de un canal y establece que dado un canal ruidoso con capacidad e información transmitida a una velocidad de línea , entonces si ${\displaystyle C}$ ${\displaystyle R}$

${\displaystyle R<C}$

Existe una técnica de codificación que permite reducir al mínimo la probabilidad de error en el receptor, lo que significa que, en teoría, es posible transmitir información casi sin errores hasta un límite de bits por segundo. ${\displaystyle C}$

Lo contrario también es importante. Si

${\displaystyle R>C}$

La probabilidad de error en el receptor aumenta sin límite a medida que aumenta la velocidad, por lo que no se puede transmitir información útil más allá de la capacidad del canal. El teorema no aborda la situación poco frecuente en la que la velocidad y la capacidad son iguales.

El teorema de Shannon-Hartley establece cuál es la capacidad de canal para un canal de tiempo continuo con ancho de banda finito sujeto a ruido gaussiano. Conecta el resultado de Hartley con el teorema de capacidad de canal de Shannon en una forma que es equivalente a especificar la M en la fórmula de velocidad de línea de Hartley en términos de una relación señal-ruido, pero logrando confiabilidad a través de codificación de corrección de errores en lugar de a través de niveles de pulso distinguibles de manera confiable.

Si existiera un canal analógico libre de ruido, se podrían transmitir cantidades ilimitadas de datos sin errores por unidad de tiempo (nótese que un canal analógico con ancho de banda infinito no podría transmitir cantidades ilimitadas de datos sin errores sin una potencia de señal infinita). Sin embargo, los canales reales están sujetos a limitaciones impuestas tanto por el ancho de banda finito como por el ruido distinto de cero.

El ancho de banda y el ruido afectan la velocidad a la que se puede transmitir información a través de un canal analógico. Las limitaciones del ancho de banda por sí solas no imponen un límite a la velocidad máxima de transmisión de información, ya que aún es posible que la señal adopte una cantidad indefinidamente grande de niveles de voltaje diferentes en cada pulso de símbolo, y a cada nivel ligeramente diferente se le asigna un significado o secuencia de bits diferente. Sin embargo, si se tienen en cuenta tanto el ruido como las limitaciones del ancho de banda, existe un límite a la cantidad de información que se puede transferir mediante una señal de potencia limitada, incluso cuando se utilizan técnicas sofisticadas de codificación multinivel.

En el canal considerado por el teorema de Shannon-Hartley, el ruido y la señal se combinan por adición. Es decir, el receptor mide una señal que es igual a la suma de la señal que codifica la información deseada y una variable aleatoria continua que representa el ruido. Esta adición crea incertidumbre en cuanto al valor de la señal original. Si el receptor tiene alguna información sobre el proceso aleatorio que genera el ruido, en principio se puede recuperar la información de la señal original considerando todos los estados posibles del proceso de ruido. En el caso del teorema de Shannon-Hartley, se supone que el ruido es generado por un proceso gaussiano con una varianza conocida. Dado que la varianza de un proceso gaussiano es equivalente a su potencia, es convencional llamar a esta varianza la potencia del ruido.

Este canal se denomina canal de ruido gaussiano blanco aditivo, porque se añade ruido gaussiano a la señal; "blanco" significa cantidades iguales de ruido en todas las frecuencias dentro del ancho de banda del canal. Este ruido puede surgir tanto de fuentes de energía aleatorias como de errores de codificación y medición en el transmisor y el receptor respectivamente. Dado que las sumas de variables aleatorias gaussianas independientes son en sí mismas variables aleatorias gaussianas, esto simplifica convenientemente el análisis, si se supone que dichas fuentes de error también son gaussianas e independientes.

Implicaciones del teorema

Comparación de la capacidad de Shannon con la ley de Hartley

Comparando la capacidad del canal con la tasa de información de la ley de Hartley, podemos encontrar el número efectivo de niveles distinguibles M : ^[8]

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

La raíz cuadrada convierte efectivamente la relación de potencia nuevamente en una relación de voltaje, por lo que el número de niveles es aproximadamente proporcional a la relación entre la amplitud RMS de la señal y la desviación estándar del ruido.

Esta similitud de forma entre la capacidad de Shannon y la ley de Hartley no debe interpretarse como que los niveles de pulso se pueden enviar literalmente sin ninguna confusión. Se necesitan más niveles para permitir la codificación redundante y la corrección de errores, pero la tasa de datos neta que se puede alcanzar con la codificación es equivalente a la que se obtiene con la ley de Hartley. ${\displaystyle M}$ ${\displaystyle M}$

Caso dependiente de la frecuencia (ruido coloreado)

En la versión simple anterior, la señal y el ruido no están correlacionados en absoluto, en cuyo caso la potencia total de la señal recibida y el ruido se combinan. Una generalización de la ecuación anterior para el caso en el que el ruido aditivo no es blanco (o que el ⁠ ⁠ no es constante con la frecuencia en todo el ancho de banda) se obtiene tratando el canal como muchos canales gaussianos estrechos e independientes en paralelo: ${\displaystyle S+N}$ ${\displaystyle S/N}$

${\displaystyle C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df}$

dónde

• ${\displaystyle C}$es la capacidad del canal en bits por segundo;
• ${\displaystyle B}$es el ancho de banda del canal en Hz;
• ${\displaystyle S(f)}$es el espectro de potencia de la señal
• ${\displaystyle N(f)}$es el espectro de potencia del ruido
• ${\displaystyle f}$es la frecuencia en Hz.

Nota: el teorema sólo se aplica al ruido de proceso estacionario gaussiano . La forma en que esta fórmula introduce el ruido dependiente de la frecuencia no puede describir todos los procesos de ruido de tiempo continuo. Por ejemplo, considere un proceso de ruido que consiste en agregar una onda aleatoria cuya amplitud es 1 o −1 en cualquier punto del tiempo, y un canal que agrega dicha onda a la señal de origen. Los componentes de frecuencia de dicha onda son altamente dependientes. Aunque dicho ruido puede tener una alta potencia, es bastante fácil transmitir una señal continua con mucha menos potencia de la que se necesitaría si el ruido subyacente fuera una suma de ruidos independientes en cada banda de frecuencia.

Aproximaciones

Capacidad del canal AWGN con el régimen de potencia limitada y el régimen de ancho de banda limitado indicados. Aquí, B y C se pueden escalar proporcionalmente para otros valores. ${\displaystyle {\frac {S}{N_{0}}}=1}$

Para relaciones señal-ruido grandes o pequeñas y constantes, la fórmula de capacidad se puede aproximar:

Caso de ancho de banda limitado

Cuando la relación señal-ruido (SNR) es grande ( S / N ≫ 1 ), el logaritmo se aproxima mediante

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},}$

En este caso, la capacidad es logarítmica en potencia y aproximadamente lineal en ancho de banda (no del todo lineal, ya que N aumenta con el ancho de banda, lo que produce un efecto logarítmico). Esto se denomina régimen de ancho de banda limitado .

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)} }$

dónde

${\displaystyle \mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.}$

Caja con potencia limitada

De manera similar, cuando la SNR es pequeña (si ⁠ ⁠ ${\displaystyle S/N\ll 1}$ ), aplicando la aproximación al logaritmo:

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};}$

Entonces la capacidad es lineal en potencia. Esto se llama régimen de potencia limitada .

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N}.}$

En esta aproximación de baja relación señal-ruido (SNR), la capacidad es independiente del ancho de banda si el ruido es blanco, de la densidad espectral en vatios por hercio, en cuyo caso la potencia total del ruido es . ${\displaystyle N_{0}}$ ${\displaystyle N=B\cdot N_{0}}$

${\displaystyle C\approx 1.44\cdot {S \over N_{0}}}$

Ejemplos

1. Con una relación señal/ruido (SNR) de 0 dB (potencia de señal = potencia de ruido), la capacidad en bits/s es igual al ancho de banda en hercios.
2. Si la relación señal/ruido es de 20 dB y el ancho de banda disponible es de 4 kHz, lo que es adecuado para las comunicaciones telefónicas, entonces C = 4000 log ₂ (1 + 100) = 4000 log ₂ (101) = 26,63 kbit/s. Nótese que el valor de la relación señal/ruido = 100 es equivalente a una relación señal/ruido de 20 dB.
3. Si el requisito es transmitir a 50 kbit/s y se utiliza un ancho de banda de 10 kHz, entonces la relación señal/ruido mínima requerida viene dada por 50000 = 10000 log ₂ (1+S/N) por lo que C/B = 5 entonces S/N = 2 ⁵ − 1 = 31, correspondiente a una relación señal/ruido de 14,91 dB (10 x log ₁₀ (31)).
4. ¿Cuál es la capacidad del canal para una señal que tiene un ancho de banda de 1 MHz, recibida con una relación señal/ruido de −30 dB? Esto significa una señal profundamente enterrada en ruido. −30 dB significa una relación señal/ruido = 10 ⁻³ . Esto conduce a una tasa máxima de información de 10 ⁶ log ₂ (1 + 10 ⁻³ ) = 1443 bit/s. Estos valores son típicos de las señales de medición de distancia recibidas del GPS, donde el mensaje de navegación se envía a 50 bit/s (por debajo de la capacidad del canal para la relación señal/ruido dada), y cuyo ancho de banda se extiende a alrededor de 1 MHz mediante una multiplicación de pseudo-ruido antes de la transmisión.
5. Como se indicó anteriormente, la capacidad del canal es proporcional al ancho de banda del canal y al logaritmo de la relación señal-ruido (SNR). Esto significa que la capacidad del canal se puede aumentar linealmente, ya sea aumentando el ancho de banda del canal dado un requisito de relación señal-ruido fijo o, con un ancho de banda fijo, utilizando modulaciones de orden superior que necesitan una relación señal-ruido muy alta para funcionar. A medida que aumenta la tasa de modulación, la eficiencia espectral mejora, pero a costa del requisito de relación señal-ruido. Por lo tanto, hay un aumento exponencial en el requisito de relación señal-ruido si se adopta una 16QAM o 64QAM ; sin embargo, la eficiencia espectral mejora.

Véase también

• Teorema de muestreo de Nyquist-Shannon
• Mib/N0

Notas

1. Nyquist, Harry (abril de 1928). «Ciertos temas de la teoría de la transmisión telegráfica» (PDF) . Trans. AIEE . 47 (2): 617–44. Bibcode :1928TAIEE..47..617N. doi :10.1109/T-AIEE.1928.5055024.También reimpresión de 2002 doi :10.1109/5.989873
2. Hartley, RVL (julio de 1928). "Transmisión de información" (PDF) . Bell System Technical Journal . 7 (3): 535–563. doi :10.1002/j.1538-7305.1928.tb01236.x.
3. Bell, DA (1962). Teoría de la información y sus aplicaciones en ingeniería (3.ª ed.). Nueva York: Pitman. ISBN 9780273417576.
4. Gokhale, Anu A. (2004). Introducción a las telecomunicaciones (2.ª ed.). Thomson Delmar Learning. ISBN 1-4018-5648-9.
5. Dunlop, John; Smith, D. Geoffrey (1998). Ingeniería de telecomunicaciones. CRC Press. ISBN 0-7487-4044-9.
6. Shannon, CE (1998) [1949]. La teoría matemática de la comunicación (PDF) . Urbana, IL: University of Illinois Press.
7. Shannon, CE (enero de 1949). "Comunicación en presencia de ruido" (PDF) . Actas del Instituto de Ingenieros de Radio . 37 (1): 10–21. doi :10.1109/JRPROC.1949.232969. S2CID  52873253. Archivado desde el original (PDF) el 8 de febrero de 2010.
8. Pierce, John Robinson (1980). Introducción a la teoría de la información: símbolos, señales y ruido . Courier. ISBN 0-486-24061-4.

Referencias

• Taub, Herbert; Schilling, Donald L. (1986). Principios de los sistemas de comunicación . McGraw-Hill. ISBN 978-0-07-062956-1.OCLC 12107009  .
• Wozencraft, John M.; Jacobs, Irwin Mark (1965). Principios de ingeniería de comunicaciones . Wiley. ISBN 978-0-471-96240-3.OCLC 1325622  .

Enlaces externos

• Libro de texto en línea: Teoría de la información, inferencia y algoritmos de aprendizaje, de David MacKay : ofrece una introducción amena y completa a la teoría de Shannon, incluidas dos pruebas del teorema de codificación de canal ruidoso. Este texto también analiza métodos de vanguardia de la teoría de codificación, como los códigos de verificación de paridad de baja densidad y los códigos Turbo .
• Artículo de MIT News sobre el límite de Shannon