Pi de Scott

El pi de Scott (llamado así en honor a William A Scott ) es una estadística para medir la confiabilidad entre evaluadores de datos nominales en estudios de comunicación . Las entidades textuales son anotadas con categorías por diferentes anotadores, y se utilizan varias medidas para evaluar el grado de acuerdo entre los anotadores, una de las cuales es el pi de Scott. Dado que la anotación automática de texto es un problema popular en el procesamiento del lenguaje natural , y el objetivo es lograr que el programa de computadora que se está desarrollando concuerde con los humanos en las anotaciones que crea, evaluar hasta qué punto los humanos están de acuerdo entre sí es importante para establecer un límite superior razonable en el rendimiento de la computadora.

Introducción

El pi de Scott es similar al kappa de Cohen en que mejoran la concordancia simple observada al tener en cuenta el grado de concordancia que podría esperarse por casualidad. Sin embargo, en cada estadística, la concordancia esperada se calcula de manera ligeramente diferente. El pi de Scott supone que los anotadores tienen la misma distribución de respuestas, lo que hace que el kappa de Cohen sea un poco más informativo. El pi de Scott se extiende a más de dos anotadores mediante el kappa de Fleiss .

La ecuación para el pi de Scott, como en el kappa de Cohen , es:

${\displaystyle \pi ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}},}$

Sin embargo, Pr(e) se calcula utilizando "proporciones conjuntas" al cuadrado, que son medias aritméticas al cuadrado de las proporciones marginales (mientras que Cohen utiliza medias geométricas al cuadrado de ellas).

Ejemplo resuelto

Matriz de confusión para dos anotadores, tres categorías {Sí, No, Quizás} y 45 elementos calificados (90 calificaciones para 2 anotadores):

Para calcular el acuerdo esperado, sume los marginales entre los anotadores y divida por el número total de calificaciones para obtener proporciones conjuntas. Cuadre y totalice estos:

Para calcular el acuerdo observado, divida el número de elementos en los que los anotadores estuvieron de acuerdo por el número total de elementos. En este caso,

${\displaystyle \Pr(a)={\frac {1+5+9}{45}}=0.333.}$

Dado que Pr(e) = 0,369, el pi de Scott es entonces

${\displaystyle \pi ={\frac {0.333-0.369}{1-0.369}}=-0.057.}$

Ver también

• Alfa de Krippendorff

Referencias

• Scott, W. (1955). "Fiabilidad del análisis de contenido: el caso de la codificación de escala nominal". Opinión Pública Trimestral, 19(3), 321–325.
• Krippendorff, K. (2004b) "Fiabilidad en el análisis de contenido: algunos conceptos erróneos y recomendaciones comunes". en Investigación en Comunicación Humana. vol. 30, págs. 411–433.