El shannon (símbolo: Sh) es una unidad de información que lleva el nombre de Claude Shannon , el fundador de la teoría de la información . La norma IEC 80000-13 define el shannon como el contenido de información asociado con un evento cuando la probabilidad de que el evento ocurra es 1/2 . Se entiende como tal dentro del ámbito de la teoría de la información , y es conceptualmente distinto del bit , un término utilizado en el procesamiento y almacenamiento de datos para denotar una única instancia de una señal binaria . Una secuencia de n símbolos binarios (como los contenidos en la memoria de una computadora o una transmisión de datos binarios) se describe correctamente como que consta de n bits, pero el contenido de información de esos n símbolos puede ser mayor o menor que n shannons dependiendo de la probabilidad a priori de la secuencia real de símbolos. [1]
El shannon también sirve como unidad de la entropía de información de un evento, que se define como el valor esperado del contenido de información del evento (es decir, el promedio ponderado por probabilidad del contenido de información de todos los eventos potenciales). Dado un número de resultados posibles, a diferencia del contenido de información, la entropía tiene un límite superior, que se alcanza cuando los resultados posibles son equiprobables. La entropía máxima de n bits es n Sh. Otra cantidad para la que se utiliza es la capacidad del canal , que generalmente es el máximo del valor esperado del contenido de información codificado en un canal que se puede transferir con una probabilidad de error despreciable, típicamente en forma de una tasa de información.
Sin embargo, el término bits de información o simplemente bits se escucha con más frecuencia, incluso en los campos de la teoría de la información y la comunicación , en lugar de Shannons ; por lo tanto, decir simplemente bits puede ser ambiguo. El uso de la unidad Shannon es una referencia explícita a una cantidad de contenido de información, entropía de información o capacidad de canal, y no se limita a datos binarios, [2] mientras que "bits" también puede referirse al número de símbolos binarios involucrados, como es el término utilizado en campos como el procesamiento de datos.
El shannon está conectado a través de constantes de proporcionalidad a otras dos unidades de información: [3]
El hartley , una unidad poco utilizada, recibe su nombre de Ralph Hartley , un ingeniero electrónico interesado en la capacidad de los canales de comunicación. Aunque de naturaleza más limitada, sus primeros trabajos, anteriores a los de Shannon, lo hacen reconocido también como pionero de la teoría de la información. Así como el shannon describe la máxima capacidad de información posible de un símbolo binario, el hartley describe la información que puede contener un símbolo decimonónico, es decir, un valor de dígito en el rango de 0 a 9 cuando la probabilidad a priori de cada valor es 1/10 . El factor de conversión citado anteriormente viene dado por log 10 (2).
En expresiones matemáticas, el nat es una unidad de información más natural, pero 1 nat no corresponde a un caso en el que todas las posibilidades sean equiprobables, a diferencia de lo que ocurre con los logaritmos de Shannon y Hartley. En cada caso, las fórmulas para cuantificar la capacidad de información o la entropía implican tomar el logaritmo de una expresión que implica probabilidades. Si se emplean logaritmos de base 2, el resultado se expresa en logaritmos de Shannon, si se emplean logaritmos de base 10 ( logaritmos comunes ), el resultado se expresa en logaritmos de Hartley y, si se emplean logaritmos naturales (base e ), el resultado se expresa en nat. Por ejemplo, la capacidad de información de una secuencia de 16 bits (que se logra cuando las 65536 secuencias posibles son igualmente probables) está dada por log(65536), por lo tanto, log 10 (65536) Hart ≈ 4,82 Hart , log e (65536) nat ≈ 11,09 nat , o log 2 (65536) Sh = 16 Sh .
En la teoría de la información y en campos derivados como la teoría de la codificación , no se puede cuantificar la "información" de un único mensaje (secuencia de símbolos) fuera de contexto, sino que se hace referencia al modelo de un canal (como la tasa de error de bits ) o a las estadísticas subyacentes de una fuente de información. Por lo tanto, existen varias medidas de información o relacionadas con ella , todas las cuales pueden utilizar el shannon como unidad. [ cita requerida ]
Por ejemplo, en el ejemplo anterior, se podría decir que un canal de 16 bits tiene una capacidad de canal de 16 Sh, pero cuando se conecta a una fuente de información particular que solo envía uno de los 8 mensajes posibles, se calcularía la entropía de su salida como no más de 3 Sh. Y si ya se ha informado a través de un canal lateral en qué conjunto de 4 mensajes posibles se encuentra el mensaje, entonces se podría calcular la información mutua del nuevo mensaje (que tiene 8 estados posibles) como no más de 2 Sh. Aunque existen infinitas posibilidades para un número real elegido entre 0 y 1, la denominada entropía diferencial se puede utilizar para cuantificar el contenido de información de una señal analógica, como por ejemplo en relación con la mejora de la relación señal-ruido o la confianza de una prueba de hipótesis . [ cita requerida ]
El Système International d'unités recomienda el uso del shannon (Sh) como unidad de información en lugar del bit para distinguir la cantidad de información de la cantidad de datos que se pueden utilizar para representar esta información. Por lo tanto, según el estándar SI, H ( X ) debería expresarse en realidad en shannons. La entropía de un bit se encuentra entre 0 y 1 Sh.