El llamado ajuste por azar del estadístico kappa supone que, cuando no están absolutamente seguros, los evaluadores simplemente aventuran una respuesta (un escenario muy poco realista).
¿Con qué frecuencia coincidirá el diagnóstico de los médicos con respecto a la enfermedad (positivo o negativo)?
Si no hay acuerdo entre los calificadores distinto al que cabría esperar por azar (según lo definido por Pr(e)), κ = 0.
El artículo pionero que introdujo kappa como nueva técnica fue publicado por Jacob Cohen en la revista Educational and Psychological Measurement en 1960.
Ahora pues, teniendo en cuenta que de las 50 solicitudes, 20 fueron aceptadas y 15 rechazadas por ambos evaluadores.
Sin embargo, al calcular Kappa para cada tabla: encontramos que muestra mayor similitud entre A y B en el segundo caso, en comparación con el primero.
[10] Si la significación estadística no es una guía útil, ¿qué magnitud de kappa refleja un acuerdo adecuado?
En contraste con las variaciones de probabilidad, el efecto del sesgo es mayor cuando Kappa es pequeño que cuando es grande.