Las evaluaciones de probabilidad calibradas son probabilidades subjetivas asignadas por personas que han sido capacitadas para evaluar probabilidades de una manera que históricamente represente su incertidumbre. [1] [2] Por ejemplo, cuando una persona ha calibrado una situación y dice que tiene "80% de confianza" en cada una de las 100 predicciones que hizo, aproximadamente el 80% de ellas serán correctas. Del mismo modo, tendrán razón el 90% de las veces que digan que están seguros en un 90%, y así sucesivamente.
El entrenamiento de calibración mejora las probabilidades subjetivas porque la mayoría de las personas tienen "exceso de confianza" o "falta de confianza" (generalmente lo primero). [3] Al practicar con una serie de preguntas de trivia, es posible que los sujetos afinen su capacidad para evaluar probabilidades. Por ejemplo, se le puede preguntar a un sujeto:
Si una persona no tiene idea alguna, dirá que sólo tiene un 50% de confianza. Si están absolutamente seguros de que están en lo cierto, dirán 100%. Pero la mayoría de la gente responderá en algún punto intermedio. Si a una persona calibrada se le hace una gran cantidad de preguntas de este tipo, obtendrá tantas respuestas correctas como esperaba. Una persona no calibrada que sistemáticamente tiene un exceso de confianza puede decir que tiene un 90% de confianza en una gran cantidad de preguntas de las que solo acierta el 70%. Por otro lado, una persona no calibrada que sistemáticamente tiene falta de confianza puede decir que tiene un 50% de confianza en una gran cantidad de preguntas de las que en realidad acierta el 70%.
Alternativamente, se le pedirá al alumno que proporcione un rango numérico para una pregunta como "¿En qué año invadió Napoleón Rusia?", con la instrucción de que el rango proporcionado debe representar un intervalo de confianza del 90%. Es decir, el examinado debe tener un 90% de confianza en que el rango contiene la respuesta correcta.
La capacitación en calibración generalmente implica realizar una batería de pruebas de este tipo. Se proporciona retroalimentación entre pruebas y los sujetos refinan sus probabilidades. La capacitación en calibración también puede implicar el aprendizaje de otras técnicas que ayuden a compensar el exceso o falta de confianza constante. Dado que los sujetos son mejores a la hora de colocar probabilidades cuando pretenden apostar dinero, [1] se les enseña cómo convertir las preguntas de calibración en un tipo de juego de apuestas que se ha demostrado que mejora sus probabilidades subjetivas. [4] Se han desarrollado varios métodos colaborativos, como la predicción del mercado , para que se puedan tener en cuenta estimaciones subjetivas de múltiples individuos.
Los métodos de modelado estocástico, como el método de Monte Carlo, suelen utilizar estimaciones subjetivas de "expertos en la materia". Las investigaciones muestran que es muy probable que estos expertos tengan un exceso de confianza estadística y, como tal, el modelo tenderá a subestimar la incertidumbre y el riesgo. El entrenamiento en calibración se utiliza para aumentar la capacidad de una persona para proporcionar estimaciones precisas para métodos estocásticos. La investigación encontró que la mayoría de las personas podrían ser calibradas si se tomaran el tiempo y que la calibración de una persona, es decir, su desempeño al proporcionar estimaciones precisas, se traslada a las estimaciones proporcionadas para contenidos fuera de la capacitación en calibración, como el campo de trabajo de la persona. [5] Dicha calibración solo podría mejorar la precisión hasta cierto punto y sugirió el uso de tecnologías correctivas además de la calibración de expertos. [6]
El método de Economía de la Información Aplicada [ se necesita aclaración ] utiliza sistemáticamente la capacitación en calibración como parte de un proceso de modelado de decisiones. [ cita necesaria ]
Una de las conclusiones del libro "Calibración de probabilidades: el estado del arte hasta 1980" fue que la formación sólo puede mejorar la calibración de forma limitada. [1]