Codificación entrópica

Este método se basa en un conocimiento previo sobre los símbolos que surgirían en una trama binaria.

Se calcula con los nombres de bits por símbolo usados.

Para una fuente lo interesante es la información media que genera, esto es la entropía.

Posteriormente sustituye la serie por una única instancia del símbolo y un contador con la cantidad de repeticiones.

Los sistemas DPCM codifican la diferencia entre un valor y el anterior.

Si por ejemplo codificamos una imagen donde hay una gran parte de cielo, entonces enviaremos números más pequeños, ya que la diferencia con el anterior valor será casi 0.

Podemos calcular el nivel medio de bits que se utilizan para codificar esta trama con este código arbitrario calculando el número de bits utilizado para cada símbolo ponderado para la probabilidad con la que se producen los símbolos.