Alfa de Krippendorff

Medida estadística del acuerdo entre evaluadores

El coeficiente alfa de Krippendorff , ^[1] llamado así por el académico Klaus Krippendorff , es una medida estadística del acuerdo alcanzado al codificar un conjunto de unidades de análisis. Desde la década de 1970, el coeficiente alfa se ha utilizado en el análisis de contenido , donde las unidades textuales son categorizadas por lectores capacitados, en la investigación de encuestas y asesoramiento, donde los expertos codifican datos de entrevistas abiertas en términos analizables, en pruebas psicológicas, donde se deben comparar pruebas alternativas de los mismos fenómenos, o en estudios observacionales , donde se registran sucesos no estructurados para su posterior análisis.

El alfa de Krippendorff generaliza varias estadísticas conocidas, a menudo llamadas medidas de acuerdo entre codificadores, confiabilidad entre evaluadores , confiabilidad de la codificación de conjuntos de unidades dados (a diferencia de la unificación), pero también se distingue de las estadísticas que se denominan coeficientes de confiabilidad pero que no son adecuadas para los detalles de la codificación de datos generados para el análisis posterior.

El alfa de Krippendorff es aplicable a cualquier número de codificadores, cada uno de los cuales asigna un valor a una unidad de análisis, a datos incompletos (faltantes), a cualquier número de valores disponibles para codificar una variable, a métricas binarias, nominales, ordinales, de intervalo, de razón, polares y circulares (nótese que esto no es una métrica en el sentido matemático, sino a menudo el cuadrado de una métrica matemática , consulte niveles de medición ), y se ajusta a tamaños de muestra pequeños de los datos de confiabilidad. La virtud de un solo coeficiente con estas variaciones es que las confiabilidades calculadas son comparables entre cualquier número de codificadores, valores, métricas diferentes y tamaños de muestra desiguales.

Hay disponible un software para calcular el alfa de Krippendorff. ^{[2] [3] [4] [5] [6] [7] [8] [9] [10]}

Datos de fiabilidad

Los datos de confiabilidad se generan en una situación en la que m ≥ 2 codificadores instruidos conjuntamente (por ejemplo, por un libro de códigos ) pero que trabajan independientemente asignan cualquiera de un conjunto de valores 1,..., V a un conjunto común de N unidades de análisis. En su forma canónica, los datos de confiabilidad se tabulan en una matriz m por N que contiene N valores v _ij que el codificador c _i ha asignado a la unidad u _j . Defina m _j como el número de valores asignados a la unidad j entre todos los codificadores c . Cuando los datos están incompletos, m _j puede ser menor que m . Los datos de confiabilidad requieren que los valores sean emparejables, es decir, m _j ≥ 2. El número total de valores emparejables es n ≤ mN . ${\displaystyle \sum _{j=1}^{N}m_{j}=}$

Para ayudar a aclarar, así es como se ve la forma canónica, en resumen:

Forma general de alfa

Denotamos por el conjunto de todas las respuestas posibles que puede dar un observador. Las respuestas de todos los observadores para un ejemplo se denominan unidad (forman un multiconjunto). Denotamos un multiconjunto con estas unidades como los elementos, . ${\displaystyle R}$ ${\displaystyle U}$

Alfa viene dado por:

${\displaystyle \alpha =1-{\frac {D_{o}}{D_{e}}}}$

¿Dónde está el desacuerdo observado y es el desacuerdo esperado por casualidad? ${\displaystyle D_{o}}$ ${\displaystyle D_{e}}$

${\displaystyle D_{o}={\frac {1}{n}}\sum _{c\in R}\sum _{k\in R}\delta (c,k)\sum _{u\in U}m_{u}{\frac {n_{cku}}{P(m_{u},2)}}}$

donde es una función métrica (nótese que no es una métrica en el sentido matemático, sino a menudo el cuadrado de una métrica matemática, ver más abajo), es el número total de elementos emparejables, es el número de elementos en una unidad, número de pares en la unidad y es la función de permutación . Reordenando los términos, la suma puede interpretarse de manera conceptual como el promedio ponderado de los desacuerdos de las unidades individuales, ponderado por el número de codificadores asignados a la unidad j: ${\displaystyle \delta }$ ${\displaystyle n}$ ${\displaystyle m_{u}}$ ${\displaystyle n_{cku}}$ ${\displaystyle (c,k)}$ ${\displaystyle u}$ ${\displaystyle P}$

${\displaystyle D_{o}={\frac {1}{n}}\sum _{j=1}^{N}m_{j}\,\mathbb {E} (\delta _{j})}$

donde es la media de los números (aquí y definen elementos emparejables). Nótese que en el caso de todos los , es solo el promedio de todos los números con . También hay una interpretación de como la distancia media observada (ponderada) desde la diagonal. ${\displaystyle \mathbb {E} (\delta _{j})}$ ${\displaystyle m_{j} \choose 2}$ ${\displaystyle \delta (v_{ij},v_{i'j})}$ ${\displaystyle i>i'}$ ${\displaystyle m_{j}=m}$ ${\displaystyle j}$ ${\displaystyle D_{o}}$ ${\displaystyle \delta (v_{ij},v_{i'j})}$ ${\displaystyle i>i'}$ ${\displaystyle D_{o}}$

${\displaystyle D_{e}={\frac {1}{P(n,2)}}\sum _{c\in R}\sum _{k\in R}\delta (c,k)P_{ck}}$

donde es el número de maneras en que se puede formar el par. Esto se puede ver como la distancia promedio desde la diagonal de todos los pares posibles de respuestas que podrían derivarse del conjunto múltiple de todas las observaciones. ${\displaystyle P_{ck}}$ ${\displaystyle (c,k)}$

${\displaystyle P_{ck}={\begin{cases}c\neq k&n_{c}n_{k}\\c=k&n_{c}(n_{c}-1)\end{cases}}}$

Lo anterior es equivalente a la forma usual de una vez que se ha simplificado algebraicamente. ^[11] ${\displaystyle \alpha }$

Una interpretación del alfa de Krippendorff es: ${\displaystyle \alpha =1-{\frac {D_{{\text{within units}}={\text{in error}}}}{D_{{\text{within and between units}}={\text{in total}}}}}}$

${\displaystyle \alpha =1}$Indica una fiabilidad perfecta

${\displaystyle \alpha =0}$indica la ausencia total de fiabilidad. Las unidades y los valores asignados a ellas no tienen relación estadística.

${\displaystyle \alpha <0}$cuando los desacuerdos son sistemáticos y exceden lo que se puede esperar por casualidad.

En esta forma general, los desacuerdos D _o y D _e pueden ser conceptualmente transparentes pero son computacionalmente ineficientes. Pueden simplificarse algebraicamente, especialmente cuando se expresan en términos de la representación visualmente más instructiva de la matriz de coincidencia de los datos de confiabilidad.

Matrices de coincidencia

Una matriz de coincidencias tabula de forma cruzada los n valores emparejables de la forma canónica de los datos de confiabilidad en una matriz cuadrada de v por v , donde v es el número de valores disponibles en una variable. A diferencia de las matrices de contingencia, conocidas en las estadísticas de asociación y correlación, que tabulan pares de valores ( tabulación cruzada ), una matriz de coincidencias tabula todos los valores emparejables . Una matriz de coincidencias omite las referencias a los codificadores y es simétrica alrededor de su diagonal, que contiene todas las coincidencias perfectas, v _iu = v _i'u para dos codificadores i e i' , en todas las unidades u . La matriz de coincidencias observadas contiene frecuencias:

${\displaystyle {\begin{aligned}o_{vv'}&=\sum _{u=1}^{N}{\frac {\sum _{i\neq i'}^{m}I(v_{iu}=v)\cdot I(v_{i'u}=v')}{m_{u}-1}}=o_{v'v},\\[5pt]n_{v}&=\sum _{\ell =1}^{V}o_{v\ell }=\sum _{v_{ij}}^{m,N}I(v_{ij}=v){\text{ and }}n=\sum _{\ell =1,p=1}^{V}o_{\ell p},\end{aligned}}}$

omitiendo valores no apareados, donde I (∘) = 1 si ∘ es verdadero y 0 en caso contrario.

Debido a que una matriz de coincidencia tabula todos los valores emparejables y su contenido suma el total n , cuando participan cuatro o más codificadores, o _ck pueden ser fracciones.

La matriz de coincidencias esperadas contiene frecuencias:

${\displaystyle \ e_{vv'}={\frac {\sum _{i\neq i'}^{m}I(v_{iu}=v)\cdot I(v_{i'u}=v')}{n-1}}={\frac {1}{n-1}}\cdot \left.{\begin{cases}n_{v}(n_{v}-1)&{\text{if }}v=v'\\n_{v}n_{v'}&{\text{if }}v\neq v'\end{cases}}\right\}=e_{kc},}$

que suman los mismos n _c , n _k y n que o _ck . En función de estas coincidencias, el alfa de Krippendorff se convierte en:

${\displaystyle \alpha =1-{\frac {D_{o}}{D_{e}}}=1-{\frac {\sum _{v=1,v'=1}^{V}o_{vv'}\delta (v,v')}{\sum _{v=1,v'=1}^{V}e_{vv'}\delta (v,v')}}.}$

Funciones de diferencia

Las funciones de diferencia ^[12] entre los valores v y v' reflejan las propiedades métricas ( niveles de medición ) de su variable. ${\displaystyle \delta (v,v')}$

En general:

${\displaystyle {\begin{aligned}\delta (v,v')&\geq 0\\[4pt]\delta (v,v)&=0\\[4pt]\delta (v,v')&=\delta (v',v)\end{aligned}}}$

En particular:

Para datos nominales , donde v y v' sirven como nombres. ${\displaystyle \delta _{\text{nominal}}(v,v')={\begin{cases}0&{\text{if }}v=v'\\1&{\text{if }}v\neq v'\end{cases}}}$

Para datos ordinales , donde v y v ′ son valores codificados interpretados como rangos, y n _g , n _v , n _{v ′} son las frecuencias respectivas de cada rango. ${\displaystyle \delta _{\text{ordinal}}(v,v')=\left(\left[\sum _{g=v}^{g=v'}n_{g}\right]-{\frac {n_{v}+n_{v'}}{2}}\right)^{2}}$

Para datos de intervalo , donde v y v ′ son valores de escala de intervalo. ${\displaystyle \delta _{\text{interval}}(v,v')=(v-v')^{2}}$

Para datos de razón , donde v y v ′ son valores absolutos. ${\displaystyle \delta _{\text{ratio}}(v,v')=\left({\frac {v-v'}{v+v'}}\right)^{2}}$

Para datos polares , donde v _min y v _max definen los puntos finales de la escala polar. ${\displaystyle \delta _{\text{polar}}(v,v')={\frac {(v-v')^{2}}{(v+v'-2v_{\min })(2v_{\max }-v-v')}}}$

Para datos circulares , donde la función seno se expresa en grados y U es la circunferencia o el rango de valores en un círculo o bucle antes de que se repitan. Para métricas circulares de intervalos iguales, los valores enteros más pequeños y más grandes de esta métrica son adyacentes entre sí y U  =  v _{más grande}  –  v _{más pequeño}  + 1. ${\displaystyle \delta _{\text{circular}}(v,v')=\left(\sin \left[180{\frac {v-v'}{U}}\right]\right)^{2}}$

Significado

Dado que las afirmaciones matemáticas de la distribución estadística de alfa son siempre sólo aproximaciones, es preferible obtener la distribución de alfa mediante el método bootstrap . ^{[13] [14] La distribución} de alfa da lugar a dos índices:

• Los intervalos de confianza de un alfa calculado en varios niveles de significación estadística
• Probabilidad de que el alfa no alcance un mínimo elegido, necesario para que los datos se consideren suficientemente fiables (prueba de una cola). Este índice reconoce que la hipótesis nula (de coincidencia aleatoria) está tan alejada del rango de coeficientes alfa relevantes que su rechazo tendría poca importancia en cuanto a la fiabilidad de los datos dados. Para que se los considere fiables, los datos no deben desviarse significativamente de la coincidencia perfecta.

El coeficiente alfa mínimo aceptable debe elegirse de acuerdo con la importancia de las conclusiones que se extraigan de datos imperfectos. Cuando los costos de sacar conclusiones erróneas son altos, el alfa mínimo también debe establecerse alto. A falta de conocimiento de los riesgos de sacar conclusiones falsas de datos poco fiables, los científicos sociales suelen basarse en datos con fiabilidades α  ≥ 0,800, consideran los datos con 0,800 >  α  ≥ 0,667 sólo para sacar conclusiones provisionales y descartan los datos cuyas medidas de concordancia α < 0,667. ^[15]

Un ejemplo computacional

Sea la forma canónica de los datos de confiabilidad una matriz de 3 codificadores por 15 unidades con 45 celdas:

Supongamos que “*” indica una categoría predeterminada como “no se puede codificar”, “no hay respuesta” o “falta una observación”. Entonces, * no proporciona información sobre la confiabilidad de los datos en los cuatro valores que importan. Tenga en cuenta que las unidades 2 y 14 no contienen información y la unidad 1 contiene solo un valor, que no es emparejable dentro de esa unidad. Por lo tanto, estos datos de confiabilidad no consisten en mN  = 45 sino en n  = 26 valores emparejables, no en N  = 15 sino en 12 unidades codificadas de forma múltiple.

La matriz de coincidencia para estos datos se construiría de la siguiente manera:

o ₁₁ = {en u = 4}: {en u = 10}: {en u = 11}: ${\textstyle {\frac {2}{2-1}}+}$ ${\textstyle {\frac {2}{2-1}}+}$ ${\textstyle {\frac {2}{2-1}}=6}$

o ₁₃ = {en u =8}: o ₃₁ ${\textstyle {\frac {1}{2-1}}=1=}$

o ₂₂ = {en u = 3}: {en u = 9}: ${\textstyle {\frac {2}{2-1}}+}$ ${\textstyle {\frac {2}{2-1}}=4}$

o ₃₃ = {en u = 5}: {en u = 6}: {en u = 12}: {en u = 13}: ${\textstyle {\frac {2}{2-1}}+}$ ${\textstyle {\frac {2}{3-1}}+}$ ${\textstyle {\frac {2}{2-1}}+}$ ${\textstyle {\frac {2}{2-1}}=7}$

o ₃₄ = {en u = 6}: {en u = 15}: o ₄₃ ${\textstyle {\frac {2}{3-1}}+}$ ${\textstyle {\frac {1}{2-1}}=2=}$

o ₄₄ = {en u = 7}: ${\textstyle {\frac {6}{3-1}}=3}$

En términos de las entradas en esta matriz de coincidencia, el alfa de Krippendorff puede calcularse a partir de:

${\displaystyle \alpha _{\text{metric}}=1-{\frac {D_{o}}{D_{e}}}=1-{\frac {\sum _{v=1,v'=1}^{V}o_{vv'}\delta _{\text{metric}}(v,v')}{{\frac {1}{n-1}}\sum _{v=1,v'=1}^{V}n_{v}n_{v'}~\delta _{\text{metric}}(v,v')}}.}$

Para mayor comodidad, debido a que los productos con y , solo las entradas en uno de los triángulos fuera de la diagonal de la matriz de coincidencia se enumeran a continuación: ${\displaystyle \delta (v,v)=0}$ ${\displaystyle \delta (v,v')=\delta (v',v)}$

${\displaystyle \alpha _{\text{metric}}=1-{\frac {1\delta _{\text{metric}}(1,3)+2\delta _{\text{metric}}(3,4)}{{\frac {1}{26-1}}(4\cdot 7\delta _{\text{metric}}(1,2)+10\cdot 7\delta _{\text{metric}}(1,3)+5\cdot 7\delta _{\text{metric}}(1,4)+10\cdot 4\delta _{\text{metric}}(2,3)+5\cdot 4\delta _{\text{metric}}(2,4)+5\cdot 10\delta _{\text{metric}}(3,4))}}}$

Considerando que para datos nominales la expresión anterior da como resultado: ${\displaystyle \delta _{\text{nominal}}(v,v')=1}$ ${\displaystyle v{\neq }v'}$

${\displaystyle \alpha _{\text{nominal}}=1-{\frac {1+2}{{\frac {1}{26-1}}(4\cdot 7+10\cdot 7+5\cdot 7+10\cdot 4+5\cdot 4+5\cdot 10)}}=0.691}$

Con datos de intervalo la expresión anterior da como resultado: ${\displaystyle \delta _{\text{interval}}(1,2)=\delta _{\text{interval}}(2,3)=\delta _{\text{interval}}(3,4)=1^{2},\qquad \delta _{\text{interval}}(1,3)=\delta _{\text{interval}}(2,4)=2^{2},{\text{ and }}\delta _{\text{interval}}(1,4)=3^{2},}$

${\displaystyle \alpha _{\text{interval}}=1-{\frac {1\cdot 2^{2}+2\cdot 1^{2}}{{\frac {1}{26-1}}(4\cdot 7\cdot 1^{2}+10\cdot 7\cdot 2^{2}+5\cdot 7\cdot 3^{2}+10\cdot 4\cdot 1^{2}+5\cdot 4\cdot 2^{2}+5\cdot 10\cdot 1^{2})}}=0.811}$

Aquí, debido a que los desacuerdos ocurren en gran medida entre valores vecinos, visualizados al ocurrir más cerca de la diagonal de la matriz de coincidencia, una condición que tiene en cuenta pero no. Cuando las frecuencias observadas o _{v ≠ v ′} son en promedio proporcionales a las frecuencias esperadas e _{v ≠ v'} , . ${\displaystyle \alpha _{\text{interval}}>\alpha _{\text{nominal}}}$ ${\displaystyle \alpha _{\text{interval}}}$ ${\displaystyle \alpha _{\text{nominal}}}$ ${\displaystyle \alpha _{\text{interval}}=\alpha _{\text{nominal}}}$

Comparar los coeficientes alfa entre diferentes métricas puede proporcionar pistas sobre cómo los codificadores conceptualizan la métrica de una variable.

La adopción de otras estadísticas por parte de Alpha

El alfa de Krippendorff reúne varias estadísticas conocidas bajo un paraguas común, cada una de ellas tiene sus propias limitaciones pero ninguna virtud adicional.

• El pi de Scott ^[16] es un coeficiente de acuerdo para datos nominales y dos codificadores. Cuando los datos son nominales, alfa se reduce a una forma similar al pi de Scott : la proporción de acuerdo observada de Scott aparece en el numerador de alfa , exactamente. La proporción de acuerdo esperada de Scott, se aproxima asintóticamente por cuando el tamaño de muestra n es grande, igual cuando es infinito. De ello se deduce que el pi de Scott es ese caso especial de alfa en el que dos codificadores generan una muestra muy grande de datos nominales. Para tamaños de muestra finitos: . Evidentemente, . $${\displaystyle \pi ={\frac {P_{o}-P_{e}}{1-P_{e}}}{\text{ where }}P_{o}=\sum _{c}{\frac {o_{cc}}{n}},{\text{ and }}P_{e}=\sum _{c}{\frac {n_{c}^{2}}{n^{2}}}.}$$ $${\displaystyle _{\text{nominal}}\alpha =1-{\frac {D_{o}}{D_{e}}}={\frac {\sum _{c}o_{cc}-\sum _{c}e_{cc}}{n-\sum _{c}e_{cc}}}={\frac {\sum _{c}{\frac {O_{cc}}{n}}-\sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}{1-\sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}}}$$ ${\displaystyle \ P_{o}}$ ${\textstyle P_{e}=\sum _{c}{\frac {n_{c}^{2}}{n^{2}}}}$ ${\textstyle \sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}$ ${\displaystyle {_{\text{nominal}}\alpha }=1-{\tfrac {n-1}{n}}(1-\pi )\geq \pi }$ ${\textstyle \lim _{n\to \infty }{_{\text{nominal}}\alpha }=\pi }$
• El kappa de Fleiss ^[17] es un coeficiente de acuerdo para datos nominales con tamaños de muestra muy grandes donde un conjunto de codificadores ha asignado exactamente m etiquetas a todas las N unidades sin excepción (pero tenga en cuenta que puede haber más de m codificadores y solo alguna etiqueta de subconjunto en cada instancia). Fleiss afirmó haber extendido el kappa de Cohen ^[18] a tres o más evaluadores o codificadores, pero en su lugar generalizó el pi de Scott . Esta confusión se refleja en la elección de Fleiss de su nombre, que se ha reconocido al renombrarlo K : ^[19] Cuando los tamaños de muestra son finitos, se puede ver que K perpetra la inconsistencia de obtener la proporción de acuerdos observados contando las coincidencias dentro de los m ( m  − 1) pares posibles de valores dentro de u , excluyendo adecuadamente los valores emparejados consigo mismos, mientras que la proporción se obtiene contando las coincidencias dentro de todos los ( mN ) ²  =  n ² pares posibles de valores, incluyendo efectivamente los valores emparejados consigo mismos. Es esto último lo que introduce un sesgo en el coeficiente. Sin embargo, al igual que para pi , cuando los tamaños de muestra se vuelven muy grandes, este sesgo desaparece y la proporción en α _nominal anterior se aproxima asintóticamente a K. No obstante, la kappa de Fleiss , o más bien K , se cruza con alfa en esa situación especial en la que un número fijo de m codificadores codifica todas las N unidades (no faltan datos), utilizando categorías nominales, y el tamaño de muestra n  =  mN es muy grande, teóricamente infinito. $${\displaystyle K={\frac {{\bar {P}}-{\bar {P}}_{e}}{1-{\bar {P}}_{e}}}{\text{ where }}{\bar {P}}={\frac {1}{N}}\sum _{u=1}^{N}\sum _{c}{\frac {n_{cu}(n_{cu}-1)}{m(m-1)}}=\sum _{c}{\frac {o_{cc}}{mN}},{\text{ and }}{\bar {P}}_{e}=\sum _{c}{\frac {n_{c}^{2}}{(mN)^{2}}}}$$ ${\displaystyle {\bar {P}}}$ ${\displaystyle {\bar {P}}_{e}}$ ${\textstyle \sum _{c}{\frac {n_{c}(n_{c}-1)}{n(n-1)}}}$ ${\displaystyle {\bar {P}}_{e}}$
• El coeficiente de correlación de rangos de Spearman rho ^[20] mide el acuerdo entre la clasificación de dos codificadores del mismo conjunto de N objetos. En su forma original: donde es la suma de N diferencias entre el rango c de un codificador y el rango k del otro codificador del mismo objeto u . Mientras que alfa tiene en cuenta los rangos empatados en términos de sus frecuencias para todos los codificadores, rho los promedia en la instancia de cada codificador individual. En ausencia de empates, el numerador de y el denominador de , donde n  = 2 N , que se convierte en cuando los tamaños de muestra se vuelven grandes. Por lo tanto, rho de Spearman es ese caso especial de alfa en el que dos codificadores clasifican un conjunto muy grande de unidades. Nuevamente, y . $${\displaystyle \rho =1-{\frac {6\sum D^{2}}{N(N^{2}-1)}},}$$ ${\textstyle \sum D^{2}=\sum _{u=1}^{N}{_{\text{ordinal}}\delta }_{c_{u}k_{u}}^{2}}$ ${\displaystyle \rho }$ ${\textstyle \sum D^{2}=ND_{o}}$ ${\displaystyle \rho }$ ${\textstyle {\frac {N(N^{2}-1)}{6}}={\frac {n}{n-1}}ND_{e}}$ ${\displaystyle \ ND_{e}}$ ${\displaystyle {_{\text{ordinal}}\alpha }\geq \rho }$ ${\textstyle \lim _{n\to \infty }{_{\text{ordinal}}\alpha }=\rho }$
• El coeficiente de correlación intraclase de Pearson r _ii es un coeficiente de acuerdo para datos de intervalo, dos codificadores y tamaños de muestra muy grandes. Para obtenerlo, la sugerencia original de Pearson fue ingresar los pares de valores observados dos veces en una tabla, una como c  −  k y otra como k  −  c , a la que luego se aplica el coeficiente de correlación producto-momento de Pearson tradicional. ^[21] Al ingresar pares de valores dos veces, la tabla resultante se convierte en una matriz de coincidencia sin referencia a los dos codificadores, contiene n  = 2 N valores y es simétrica alrededor de la diagonal, es decir, la línea de regresión lineal conjunta se fuerza a una línea de 45° y se eliminan las referencias a los codificadores. Por lo tanto, el coeficiente de correlación intraclase de Pearson es ese caso especial de intervalo alfa para dos codificadores y tamaños de muestra grandes, y . ${\displaystyle {_{\text{interval}}\alpha }\geq r_{ii}}$ ${\textstyle \lim _{n\to \infty }{_{\text{interval}}\alpha }=r_{ii}}$
• Finalmente, los desacuerdos en el intervalo alfa , D _u , D _o y D _e son varianzas muestrales propias . ^[22] De ello se desprende que la fiabilidad que evalúa el intervalo alfa es coherente con todas las técnicas analíticas basadas en la varianza, como el análisis de varianza . Además, al incorporar funciones de diferencia no solo para datos de intervalo sino también para datos nominales, ordinales, de razón, polares y circulares, alfa extiende la noción de varianza a métricas que las técnicas analíticas clásicas rara vez abordan.

El alfa de Krippendorff es más general que cualquiera de estos coeficientes de propósito especial. Se ajusta a distintos tamaños de muestra y permite realizar comparaciones entre una amplia variedad de datos de confiabilidad, que en su mayoría son ignorados por las medidas conocidas.

Coeficientes incompatibles con alfa y la fiabilidad de la codificación

En términos semánticos, la fiabilidad es la capacidad de confiar en algo, en este caso en datos codificados para su posterior análisis. Cuando un número suficientemente grande de codificadores concuerda perfectamente en lo que han leído u observado, confiar en sus descripciones es una apuesta segura. Los juicios de este tipo dependen del número de codificadores que duplican el proceso y de la representatividad de las unidades codificadas de la población de interés. Los problemas de interpretación surgen cuando el acuerdo no es perfecto, especialmente cuando no hay fiabilidad.

• Coeficientes de correlación y asociación. El coeficiente de correlación producto-momento de Pearson r _ij , por ejemplo, mide las desviaciones de cualquier línea de regresión lineal entre las coordenadas de i y j . A menos que esa línea de regresión sea exactamente de 45° o esté centrada, r _ij no mide la concordancia. De manera similar, mientras que la concordancia perfecta entre codificadores también significa asociación perfecta, las estadísticas de asociación registran cualquier patrón de relaciones entre variables por encima del azar. No distinguen la concordancia de otras asociaciones y, por lo tanto, no son adecuadas como medidas de confiabilidad.
• Coeficientes que miden el grado en que los codificadores dependen estadísticamente entre sí. Cuando la fiabilidad de los datos codificados está en juego, la individualidad de los codificadores no puede tener cabida en ella. Los codificadores deben ser tratados como intercambiables. Alpha , pi de Scott y la correlación intraclase original de Pearson logran esto al ser definibles como una función de coincidencias, no solo de contingencias. A diferencia de las matrices de contingencia más conocidas, que tabulan N pares de valores y mantienen la referencia a los dos codificadores, las matrices de coincidencia tabulan los n valores emparejables utilizados en la codificación, independientemente de quién los haya aportado, tratando en efecto a los codificadores como intercambiables. La kappa de Cohen , ^[23] por el contrario, define el acuerdo esperado en términos de contingencias, como el acuerdo que se esperaría si los codificadores fueran estadísticamente independientes entre sí. ^[24] La concepción de Cohen del azar no incluye los desacuerdos entre las predilecciones individuales de los codificadores por categorías particulares, castiga a los codificadores que están de acuerdo en su uso de categorías y recompensa a los que no están de acuerdo con valores kappa más altos . Esta es la causa de otras rarezas notadas de kappa . ^[25] La independencia estadística de los codificadores está relacionada solo marginalmente con la independencia estadística de las unidades codificadas y los valores asignados a ellas. El kappa de Cohen , al ignorar desacuerdos cruciales, puede llegar a ser engañosamente grande cuando se debe evaluar la confiabilidad de los datos de codificación.
• Coeficientes que miden la consistencia de los juicios de los codificadores. En la literatura psicométrica, ^[26] la confiabilidad tiende a definirse como la consistencia con la que se desempeñan varias pruebas cuando se aplican a un conjunto común de características individuales. El alfa de Cronbach , ^[27] por ejemplo, está diseñado para evaluar el grado en el que múltiples pruebas producen resultados correlacionados. La concordancia perfecta es el ideal, por supuesto, pero el alfa de Cronbach es alto también cuando los resultados de las pruebas varían sistemáticamente. La consistencia de los juicios de los codificadores no proporciona las garantías necesarias de confiabilidad de los datos. Cualquier desviación de juicios idénticos, sistemáticos o aleatorios, debe considerarse como desacuerdo y reducir la confiabilidad medida. El alfa de Cronbach no está diseñado para responder a diferencias absolutas.
• Coeficientes con líneas base (condiciones bajo las cuales miden 0) que no se pueden interpretar en términos de confiabilidad, es decir, no tienen un valor dedicado para indicar cuándo las unidades y los valores asignados a ellas no están relacionados estadísticamente. El % de acuerdo simple varía de 0 = desacuerdo extremo a 100 = acuerdo perfecto donde la probabilidad no tiene un valor definido. Como ya se señaló, el kappa de Cohen cae en esta categoría al definir la ausencia de confiabilidad como la independencia estadística entre dos codificadores individuales. La línea base de la S de Bennett, Alpert y Goldstein ^[28] se define en términos del número de valores disponibles para la codificación, que tiene poco que ver con cómo se usan realmente los valores. El lambda r de Goodman y Kruskal ^[29] se define para variar entre -1 y +1, dejando 0 sin una interpretación de confiabilidad particular. El coeficiente de reproducibilidad o concordancia de Lin r _c ^[30] toma la correlación del momento del producto de Pearson r _ij como una medida de precisión y le agrega una medida C _b de exactitud, aparentemente para corregir la insuficiencia de r _ij mencionada anteriormente. Varía entre -1 y +1 y la interpretación de confiabilidad de 0 es incierta. Existen más medidas de confiabilidad llamadas cuyas interpretaciones de confiabilidad se vuelven cuestionables tan pronto como se desvían de la concordancia perfecta.

El hecho de que una estadística se denomine de acuerdo, reproducibilidad o fiabilidad no la convierte en un índice válido para determinar si se puede confiar en los datos codificados para tomar decisiones posteriores. Su estructura matemática debe ajustarse al proceso de codificación de unidades en un sistema de términos analizables.

Notas

1. Krippendorff, K. (2013) pp. 221–250 describe las matemáticas de alfa y su uso en el análisis de contenido desde 1969.
2. Hayes, AF y Krippendorff, K. (2007) describen y proporcionan macros de SPSS y SAS para calcular alfa, sus límites de confianza y la probabilidad de no alcanzar un mínimo elegido.
3. Manual de referencia del paquete irr que contiene la función kripp.alpha() para el paquete de estadísticas independiente de la plataforma R
4. La página de recursos de Alpha.
5. Código Matlab para calcular el alfa de Krippendorff.
6. Código Python para calcular el alfa de Krippendorff.
7. Código Python para el cálculo rápido alfa de Krippendorff.
8. Se encuentran disponibles varias adiciones escritas por los usuarios al software comercial Stata.
9. Implementación de Python de código abierto compatible con marcos de datos
10. Marzi, Giacomo; Balzano, Marco; Marchiori, Davide (2024). "Calculadora K-Alpha–Calculadora Alfa de Krippendorff: una herramienta fácil de usar para calcular el coeficiente de confiabilidad entre evaluadores Alfa de Krippendorff". MethodsX . 12 : 102545. doi :10.1016/j.mex.2023.102545. hdl : 10278/5046412 . ISSN  2215-0161.
11. Honor, David. "Comprensión del alfa de Krippendorff" (PDF) .
12. Cálculo de la confiabilidad alfa de Krippendorff” http://repository.upenn.edu/asc_papers/43/
13. Krippendorff, K. (2004) págs. 237-238
14. Hayes, AF y Krippendorff, K. (2007) Respondiendo al llamado para una medida de confiabilidad estándar para la codificación de datos [1]
15. Krippendorff, K. (2004) págs. 241-243
16. Scott, Washington (1955)
17. Fleiss, J. L. (1971)
18. Cohen, J. (1960)
19. Siegel, S. y Castellan, NJ (1988), págs. 284–291.
20. Lancero, CE (1904)
21. Pearson, K. (1901), Tildesley, ML (1921)
22. Krippendorff, K. (1970)
23. Cohen, J. (1960)
24. Krippendorff, K. (1978) planteó esta cuestión a Joseph Fleiss
25. Zwick, R. (1988), Brennan, RL y Prediger, DJ (1981), Krippendorff (1978, 2004).
26. Nunnally, JC y Bernstein, IH (1994)
27. Cronbach, L. J. (1951)
28. Bennett, E. M., Alpert, R. y Goldstein, A. C. (1954)
29. Goodman, LA y Kruskal, WH (1954) pág. 758
30. Lin, LI (1989)

• K. Krippendorff, 2013, Análisis de contenido: una introducción a su metodología, 3.ª ed. Thousand Oaks, CA, EE. UU.: Sage, págs. 221–250

Referencias

• Bennett, Edward M., Alpert, R. y Goldstein, AC (1954). Comunicaciones mediante preguntas de respuesta limitada. Public Opinion Quarterly, 18 , 303–308.
• Brennan, Robert L. y Prediger, Dale J. (1981). Coeficiente kappa: algunos usos, usos incorrectos y alternativas. Educational and Psychological Measurement, 41 , 687–699.
• Cohen, Jacob (1960). Un coeficiente de acuerdo para escalas nominales. Educational and Psychological Measurement, 20 (1), 37–46.
• Cronbach, Lee, J. (1951). Coeficiente alfa y estructura interna de los tests. Psychometrika, 16 (3), 297–334.
• Fleiss, Joseph L. (1971). Medición del acuerdo de escala nominal entre muchos evaluadores. Psychological Bulletin, 76 , 378–382.
• Goodman, Leo A. y Kruskal, William H. (1954). Medidas de asociación para clasificaciones cruzadas. Journal of the American Statistical Association, 49 , 732–764.
• Hayes, Andrew F. y Krippendorff, Klaus (2007). Respondiendo a la demanda de una medida de fiabilidad estándar para la codificación de datos. Communication Methods and Measures, 1 , 77–89.
• Krippendorff, Klaus (2013). Análisis de contenido: Introducción a su metodología, 3.ª edición . Thousand Oaks, CA: Sage.
• Krippendorff, Klaus (1978). Fiabilidad de los datos de atributos binarios. Biometrics, 34 (1), 142–144.
• Krippendorff, Klaus (1970). Estimación de la fiabilidad, el error sistemático y el error aleatorio de datos de intervalo. Educational and Psychological Measurement, 30 (1), 61–70.
• Lin, Lawrence I. (1989). Un coeficiente de correlación de concordancia para evaluar la reproducibilidad. Biometrics, 45 , 255–268.
• Marzi, G., Balzano, M. y Marchiori, D. (2024). Calculadora de alfa K-Alpha: una herramienta fácil de usar para calcular el coeficiente de confiabilidad entre evaluadores de alfa Krippendorff. MethodsX , 12, 102545. https://doi.org/10.1016/j.mex.2023.102545
• Jum C. y Bernstein, Ira H. (1994). Teoría psicométrica, 3.ª ed . Nueva York: McGraw-Hill.
• Pearson, Karl, et al. (1901). Contribuciones matemáticas a la teoría de la evolución. IX: Sobre el principio de homotiposis y su relación con la herencia, la variabilidad del individuo y la de la raza. Parte I: Homotiposis en el reino vegetal. Philosophical Transactions of the Royal Society (Londres), Serie A, 197 , 285–379.
• Scott, William A. (1955). Fiabilidad del análisis de contenido: el caso de la codificación de escala nominal. Public Opinion Quarterly, 19 , 321–325.
• Siegel, Sydney y Castella, N. John (1988). Estadística no paramétrica para las ciencias del comportamiento, 2.ª ed . Boston: McGraw-Hill.
• Tildesley, ML (1921). Un primer estudio del cráneo de Birmania. Biometrica, 13 , 176–267.
• Spearman, Charles E. (1904). La prueba y medición de la asociación entre dos cosas. American Journal of Psychology, 15 , 72–101.
• Zwick, Rebecca (1988). Otra mirada al acuerdo entre evaluadores. Psychological Bulletin, 103 (3), 347–387.

Enlaces externos

• Calculadora en línea Alpha de Krippendorff con funciones bootstrap e intervalos de confianza.
• Vídeo de Youtube sobre el alfa de Krippendorff utilizando SPSS y una macro.
• La calculadora de confiabilidad calcula el alfa de Krippendorff.
• Implementación y biblioteca de Javascript de Krippendorff Alpha
• Implementación de Python
• Implementación y biblioteca de Krippendorff Alpha Ruby Gem.
• Implementación de Python de Simpledorff que funciona con Dataframes