Ley de Zipf-Mandelbrot

Distribución de probabilidad discreta

En teoría de probabilidad y estadística , la ley de Zipf-Mandelbrot es una distribución de probabilidad discreta . También conocida como ley de Pareto -Zipf, es una distribución de ley de potencia sobre datos ordenados , llamada así por el lingüista George Kingsley Zipf , quien sugirió una distribución más simple llamada ley de Zipf , y el matemático Benoit Mandelbrot , quien posteriormente la generalizó.

La función de masa de probabilidad está dada por

${\displaystyle f(k;N,q,s)={\frac {1}{H_{N,q,s}}}{\frac {1}{(k+q)^{s}}},}$

donde se da por ${\displaystyle H_{N,q,s}}$

${\displaystyle H_{N,q,s}=\sum _{i=1}^{N}{\frac {1}{(i+q)^{s}}},}$

que puede considerarse como una generalización de un número armónico . En la fórmula, es el rango de los datos, y y son parámetros de la distribución. En el límite, cuando tiende al infinito, se convierte en la función zeta de Hurwitz . Para finito y la ley de Zipf-Mandelbrot se convierte en la ley de Zipf . Para infinito y se convierte en una distribución zeta . ${\displaystyle k}$ ${\displaystyle q}$ ${\displaystyle s}$ ${\displaystyle N}$ ${\displaystyle \zeta (s,q)}$ ${\displaystyle N}$ ${\displaystyle q=0}$ ${\displaystyle N}$ ${\displaystyle q=0}$

Aplicaciones

La distribución de palabras clasificadas por su frecuencia en un corpus de texto aleatorio se aproxima mediante una distribución de ley de potencia , conocida como ley de Zipf .

Si se representa gráficamente el rango de frecuencia de las palabras contenidas en un corpus de datos de texto de tamaño moderado frente al número de ocurrencias o frecuencias reales, se obtiene una distribución de ley de potencia , con exponente cercano a uno (pero véase Powers, 1998 y Gelbukh & Sidorov, 2001). La ley de Zipf supone implícitamente un tamaño fijo de vocabulario, pero la serie armónica con s  = 1 no converge, mientras que la generalización de Zipf-Mandelbrot con s  > 1 sí lo hace. Además, hay evidencia de que la clase cerrada de palabras funcionales que definen un idioma obedece a una distribución de Zipf-Mandelbrot con parámetros diferentes de las clases abiertas de palabras de contenido que varían según el tema, el campo y el registro. ^[1]

En los estudios de campo ecológicos, la distribución de abundancia relativa (es decir, el gráfico del número de especies observadas en función de su abundancia) a menudo se ajusta a una ley de Zipf-Mandelbrot. ^[2]

En el ámbito musical, muchas métricas para medir la música "agradable" se ajustan a las distribuciones de Zipf-Mandelbrot. ^[3]

Notas

1. Powers, David MW (1998). "Aplicaciones y explicaciones de la ley de Zipf". Nuevos métodos en el procesamiento del lenguaje y aprendizaje computacional del lenguaje natural . Conferencia conjunta sobre nuevos métodos en el procesamiento del lenguaje y aprendizaje computacional del lenguaje natural. Asociación de Lingüística Computacional. pp. 151–160.
2. Mouillot, D.; Lepretre, A. (2000). "Introducción de índices de distribución de abundancia relativa (RAD), estimados a partir de diagramas de rango-frecuencia (RFD), para evaluar cambios en la diversidad de la comunidad". Environmental Monitoring and Assessment . 63 (2). Springer: 279–295. doi :10.1023/A:1006297211561. S2CID  102285701 . Consultado el 24 de diciembre de 2008 .
3. Manaris, B.; Vaughan, D.; Wagner, CS; Romero, J.; Davis, RB "Música evolutiva y la ley de Zipf-Mandelbrot: desarrollo de funciones de aptitud para música placentera". Actas del 1er Taller europeo sobre música y arte evolutivos (EvoMUSART2003) . 611 .

Referencias

• Mandelbrot, Benoît (1965). "Teoría de la información y psicolingüística". En BB Wolman y E. Nagel (ed.). Psicología científica . Libros básicos.Reimpreso como
  • Mandelbrot, Benoît (1968) [1965]. "Teoría de la información y psicolingüística". En RC Oldfield y JC Marchall (ed.). Lenguaje . Penguin Books.
• Powers, David MW (1998). "Aplicaciones y explicaciones de la ley de Zipf". Nuevos métodos en el procesamiento del lenguaje y aprendizaje computacional del lenguaje natural . Conferencia conjunta sobre nuevos métodos en el procesamiento del lenguaje y aprendizaje computacional del lenguaje natural. Asociación de Lingüística Computacional . pp. 151–160.
• Zipf, George Kingsley (1932). Estudios selectos del principio de frecuencia relativa en el lenguaje . Cambridge, MA: Harvard University Press.
• Van Droogenbroeck FJ (2019). "Una reformulación esencial de la ley de Zipf-Mandelbrot para resolver aplicaciones de atribución de autoría mediante estadísticas gaussianas".

Enlaces externos

• ZK Silagadze: Citas y la ley de Zipf-Mandelbrot
• NIST: Ley de Zipf
• Referencias de W. Li sobre la ley de Zipf
• Gelbukh y Sidorov, 2001: Los coeficientes de las leyes de Zipf y Heaps dependen del lenguaje
• Biblioteca C++ para generar desviaciones aleatorias de Zipf-Mandelbrot.