Las evaluaciones de probabilidad calibradas son probabilidades subjetivas asignadas por personas que han sido capacitadas para evaluar probabilidades de una manera que represente históricamente su incertidumbre. [1] [2] Por ejemplo, cuando una persona ha calibrado una situación y dice que está "80% segura" de cada una de las 100 predicciones que hizo, acertará aproximadamente el 80% de ellas. Asimismo, acertará el 90% de las veces que diga que está 90% segura, y así sucesivamente.
El entrenamiento de calibración mejora las probabilidades subjetivas porque la mayoría de las personas son "excesivamente confiadas" o "poco confiadas" (generalmente lo primero). [3] Al practicar con una serie de preguntas de trivia, es posible que los sujetos afinen su capacidad para evaluar probabilidades. Por ejemplo, a un sujeto se le puede preguntar:
Si una persona no tiene ni la menor idea, dirá que solo está segura en un 50%. Si está absolutamente segura de que está en lo cierto, dirá que está segura en un 100%. Pero la mayoría de las personas responderá en algún punto intermedio. Si a una persona calibrada se le hacen muchas preguntas de este tipo, obtendrá casi tantas respuestas correctas como esperaba. Una persona no calibrada que sistemáticamente tiene demasiada confianza puede decir que está segura en un 90% en muchas preguntas de las que solo responde correctamente en un 70%. Por otro lado, una persona no calibrada que sistemáticamente tiene poca confianza puede decir que está segura en un 50% en muchas preguntas de las que realmente responde correctamente en un 70%.
Como alternativa, se le pedirá al alumno que proporcione un rango numérico para una pregunta como "¿En qué año invadió Rusia Napoleón?", con la instrucción de que el rango proporcionado debe representar un intervalo de confianza del 90 %. Es decir, el candidato debe tener un 90 % de confianza en que el rango contiene la respuesta correcta.
El entrenamiento de calibración generalmente implica realizar una serie de tales pruebas. Se proporciona retroalimentación entre las pruebas y los sujetos refinan sus probabilidades. El entrenamiento de calibración también puede implicar el aprendizaje de otras técnicas que ayuden a compensar el exceso o la falta de confianza constantes. Dado que los sujetos son mejores a la hora de colocar probabilidades cuando simulan apostar dinero, [1] se les enseña a los sujetos cómo convertir las preguntas de calibración en un tipo de juego de apuestas que se ha demostrado que mejora sus probabilidades subjetivas. [4] Se han desarrollado varios métodos colaborativos, como el mercado de predicciones , de modo que se puedan tener en cuenta las estimaciones subjetivas de múltiples individuos.
Los métodos de modelado estocástico, como el método Monte Carlo, suelen utilizar estimaciones subjetivas de "expertos en la materia". Las investigaciones muestran que es muy probable que dichos expertos tengan un exceso de confianza estadística y, como tal, el modelo tenderá a subestimar la incertidumbre y el riesgo. La capacitación en calibración se utiliza para aumentar la capacidad de una persona para proporcionar estimaciones precisas para los métodos estocásticos. Las investigaciones han descubierto que la mayoría de las personas podrían calibrarse si se tomaran el tiempo necesario y que la calibración de una persona, es decir, el desempeño en la provisión de estimaciones precisas, se traslada a las estimaciones proporcionadas para el contenido fuera de la capacitación en calibración, como el campo de trabajo de la persona. [5] Dicha calibración solo podría mejorar la precisión hasta cierto punto y sugirió el uso de tecnologías correctivas además de la calibración de expertos. [6]
El método de Economía de la Información Aplicada [ aclaración necesaria ] utiliza sistemáticamente el entrenamiento de calibración como parte de un proceso de modelado de decisiones. [ cita necesaria ]
Una de las conclusiones del estudio "Calibración de probabilidades: el estado del arte hasta 1980" fue que el entrenamiento sólo puede mejorar la calibración hasta cierto punto. [1]