Función Hartley

La función Hartley es una medida de incertidumbre introducida por Ralph Hartley en 1928. Si se elige una muestra de un conjunto finito A de manera uniforme y aleatoria, la información que se revela después de conocer el resultado viene dada por la función Hartley.

${\displaystyle H_{0}(A):=\mathrm {log} _{b}\vert A\vert ,}$

donde | A | denota la cardinalidad de A .

Si la base del logaritmo es 2, entonces la unidad de incertidumbre es el shannon (más comúnmente conocido como bit ). Si es el logaritmo natural , entonces la unidad es el nat . Hartley utilizó un logaritmo de base diez y con esta base, la unidad de información se llama hartley (también conocido como ban o dit ) en su honor. También se conoce como entropía de Hartley o entropía máxima.

Función Hartley, entropía de Shannon y entropía de Rényi

La función Hartley coincide con la entropía de Shannon (así como con las entropías de Rényi de todos los órdenes) en el caso de una distribución de probabilidad uniforme. Es un caso especial de la entropía de Rényi ya que:

${\displaystyle H_{0}(X)={\frac {1}{1-0}}\log \sum _{i=1}^{|{\mathcal {X}}|}p_{i}^{0}=\log |{\mathcal {X}}|.}$

Pero también puede verse como una construcción primitiva, ya que, como enfatizan Kolmogorov y Rényi, la función Hartley puede definirse sin introducir ninguna noción de probabilidad (ver Incertidumbre e información de George J. Klir, p. 423).

Caracterización de la función Hartley

La función Hartley sólo depende del número de elementos de un conjunto y, por lo tanto, puede considerarse como una función de los números naturales. Rényi demostró que la función Hartley en base 2 es la única función que asigna números naturales a números reales que satisface

1. ${\displaystyle H(mn)=H(m)+H(n)}$(aditividad)
2. ${\displaystyle H(m)\leq H(m+1)}$(monotonía)
3. ${\displaystyle H(2)=1}$(normalización)

La condición 1 dice que la incertidumbre del producto cartesiano de dos conjuntos finitos A y B es la suma de las incertidumbres de A y B. La condición 2 dice que un conjunto más grande tiene mayor incertidumbre.

Derivación de la función Hartley

Queremos demostrar que la función Hartley, log ₂ ( n ), es la única función que asigna números naturales a números reales que satisface

1. ${\displaystyle H(mn)=H(m)+H(n)\,}$(aditividad)
2. ${\displaystyle H(m)\leq H(m+1)\,}$(monotonía)
3. ${\displaystyle H(2)=1\,}$(normalización)

Sea f una función de números enteros positivos que satisface las tres propiedades anteriores. A partir de la propiedad aditiva, podemos demostrar que para cualquier número entero n y k ,

${\displaystyle f(n^{k})=kf(n).\,}$

Sean a , b y t números enteros positivos cualesquiera. Existe un único entero s determinado por

${\displaystyle a^{s}\leq b^{t}\leq a^{s+1}.\qquad (1)}$

Por lo tanto,

${\displaystyle s\log _{2}a\leq t\log _{2}b\leq (s+1)\log _{2}a\,}$

y

${\displaystyle {\frac {s}{t}}\leq {\frac {\log _{2}b}{\log _{2}a}}\leq {\frac {s+1}{t}}.}$

Por otra parte, por monotonía,

${\displaystyle f(a^{s})\leq f(b^{t})\leq f(a^{s+1}).\,}$

Usando la ecuación (1), se obtiene

${\displaystyle sf(a)\leq tf(b)\leq (s+1)f(a),\,}$

y

${\displaystyle {\frac {s}{t}}\leq {\frac {f(b)}{f(a)}}\leq {\frac {s+1}{t}}.}$

Por eso,

${\displaystyle \left\vert {\frac {f(b)}{f(a)}}-{\frac {\log _{2}(b)}{\log _{2}(a)}}\right\vert \leq {\frac {1}{t}}.}$

Dado que t puede ser arbitrariamente grande, la diferencia en el lado izquierdo de la desigualdad anterior debe ser cero.

${\displaystyle {\frac {f(b)}{f(a)}}={\frac {\log _{2}(b)}{\log _{2}(a)}}.}$

Entonces,

${\displaystyle f(a)=\mu \log _{2}(a)\,}$

para alguna constante μ , que debe ser igual a 1 por la propiedad de normalización.

Véase también

• Entropía de Rényi
• Min-entropía

Referencias

• Este artículo incorpora material de la función Hartley en PlanetMath , que se encuentra bajo la licencia Creative Commons Attribution/Share-Alike License .
• Este artículo incorpora material de Derivación de la función Hartley en PlanetMath , que se encuentra bajo la licencia Creative Commons Attribution/Share-Alike License .