Fue desarrollada principalmente por Gregory Chaitin, Andréi Kolmogórov y Ray Solomonoff.
Según la definición clásica, de acuerdo con Claude Shannon, el contenido de la información de las siguientes secuencias binarias es la misma (sólo aplica la entropía de primer orden): La primera secuencia ha sido producida por un muestreo aleatorio, en la segunda secuencia, sin embargo, se utiliza la instrucción "32x1 a continuación, y entonces 32X0".
A los efectos de la teoría algorítmica de la información, la primera secuencia por tanto, tiene más información algorítmica , ya que es mucho más compleja o no se puede comprimir.
Es decir, la información algorítmica es tanto mayor, cuanto menos puede ser comprimida una cadena de caracteres (entre otros, por compresión de datos).
Las secuencias aleatorias y ruido blanco en general no contienen ningún patrón predecible y por tanto no son compresibles - el contenido de la información algorítmica es por tanto mayor.