El pi de Scott (que recibe su nombre de William A. Scott ) es una estadística que mide la fiabilidad entre evaluadores de datos nominales en estudios de comunicación . Los anotadores anotan las entidades textuales con categorías y se utilizan diversas medidas para evaluar el grado de acuerdo entre los anotadores, una de las cuales es el pi de Scott. Dado que la anotación automática de texto es un problema popular en el procesamiento del lenguaje natural y el objetivo es lograr que el programa informático que se está desarrollando concuerde con los humanos en las anotaciones que crea, evaluar el grado en que los humanos concuerdan entre sí es importante para establecer un límite superior razonable en el rendimiento de la computadora.
El pi de Scott es similar al kappa de Cohen en que ambos mejoran el simple acuerdo observado al tener en cuenta el grado de acuerdo que podría esperarse por casualidad. Sin embargo, en cada estadística, el acuerdo esperado se calcula de forma ligeramente diferente. El pi de Scott se compara con la línea de base de que los anotadores no solo son independientes sino que también tienen la misma distribución de respuestas; el kappa de Cohen se compara con una línea de base en la que se supone que los anotadores son independientes pero que tienen sus propias distribuciones de respuestas diferentes. Por lo tanto, el pi de Scott mide los desacuerdos entre los anotadores en relación con el nivel de acuerdo esperado debido al puro azar si los anotadores fueran independientes y estuvieran distribuidos de forma idéntica, mientras que el kappa de Cohen mide los desacuerdos entre los anotadores que están por encima y más allá de cualquier desacuerdo sistemático y promedio que los anotadores pudieran tener. De hecho, el kappa de Cohen ignora explícitamente todo desacuerdo sistemático y promedio entre los anotadores antes de compararlos. Por lo tanto, el kappa de Cohen evalúa únicamente el nivel de desacuerdos que varían aleatoriamente entre los anotadores, no los desacuerdos sistemáticos y promedio. El pi de Scott se extiende a más de dos anotadores mediante el kappa de Fleiss .
La ecuación para el pi de Scott, como en el kappa de Cohen , es:
Sin embargo, Pr(e) se calcula utilizando "proporciones conjuntas" al cuadrado, que son medias aritméticas al cuadrado de las proporciones marginales (mientras que Cohen utiliza medias geométricas al cuadrado de ellas).
Matriz de confusión para dos anotadores, tres categorías {Sí, No, Tal vez} y 45 elementos calificados (90 calificaciones para 2 anotadores):
Para calcular el acuerdo esperado, sume los valores marginales de los anotadores y divídalos por el número total de calificaciones para obtener las proporciones conjuntas. Eleve al cuadrado y sume estos valores:
Para calcular el acuerdo observado, divida el número de elementos en los que los anotadores coincidieron por el número total de elementos. En este caso,
Dado que Pr(e) = 0,369, el pi de Scott es entonces
