Prueba exacta de Fisher

Aunque en la práctica se emplea cuando los tamaños de muestra son pequeños, también es válido para todos los tamaños de muestra.

Fisher se dice que ha ideado la prueba conocida como la mujer saboreando té después de un comentario de Muriel Bristol, que decía ser capaz de detectar si se habían añadido primero el té o la leche en su taza.

[4]​ La prueba es útil para los datos categóricos que resultan de clasificar los objetos en dos formas diferentes.

Así en el ejemplo original de Fisher, uno de los criterios de clasificación podría ser si la leche o el té fue puesto en la taza primero, y el otro podría ser si Muriel Bristol piensa que la leche o el té se puso primero.

Queremos saber si estas dos clasificaciones están asociados —es decir, si Bristol puede realmente decir si la leche o el té se vierte primero—.

Con muestras grandes, se puede usar una prueba de chi-cuadrada (o mejor aún, una prueba G) en esta situación.

La aproximación es inadecuada cuando los tamaños de muestra son pequeños o los datos se distribuyen de forma muy desigual entre las celdas de la tabla, lo que hace que los recuentos de células pronosticados sobre la hipótesis nula (los "valores esperados") sean bajos.

De hecho, para datos pequeños, dispersos o desequilibrados, los valores p exactos y asintóticos pueden ser bastante diferentes y pueden llevar a conclusiones opuestas con respecto a la hipótesis de interés.

[6]​[7]​ En contraste, la prueba exacta de Fisher es, como su nombre lo indica, exacta siempre que el procedimiento experimental mantenga fijos los totales de filas y columnas, y por lo tanto puede usarse independientemente de las características de la muestra.

Resulta difícil calcular con muestras grandes o tablas bien equilibradas, pero afortunadamente estas son exactamente las condiciones en las que la prueba de chi-cuadrado es apropiada.

Sin embargo, el principio de la prueba puede extenderse al caso general de una tabla m × n,[8]​[9]​ y algunos paquetes estadísticos proporcionan un cálculo (a veces utilizando un método de Monte Carlo para obtener una aproximación) para el caso más general.

[10]​ Por ejemplo, una muestra de adolescentes podría dividirse en masculina y femenina, por un lado, y aquellos que están y no están actualmente estudiando para un examen de estadística, por el otro.

Los datos pueden verse así: La pregunta que hacemos acerca de estos datos es: sabiendo que 10 de estos 24 adolescentes son estudiosos, y que 12 de los 24 son mujeres, y asumiendo la hipótesis nula de que hombres y mujeres tienen la misma probabilidad de estudiar, ¿cuál es la probabilidad de que estos 10 contengan 9 mujeres y un hombre?

¿Los estudiosos se distribuirían tan desigualmente entre las mujeres y los hombres?

Si tuviéramos que elegir 10 de los adolescentes al azar, ¿cuál es la probabilidad de que 9 o más de ellos estén entre las 12 mujeres, y solo 1 o menos entre los 12 hombres?

Representamos las celdas por las letras a, b, c y d , llamamos los totales a través de las filas y los totales marginales de las columnas, y representamos el gran total por n. Entonces la tabla ahora se ve así: Fisher mostró que la distribución hipergeométrica proporciona la probabilidad de obtener cualquier conjunto de valores de este tipo:

Ronald Fisher en 1913