La auditoría de sensibilidad es una extensión del análisis de sensibilidad para su uso en estudios de modelos relevantes para las políticas. [1] Su uso se recomienda, entre otras cosas, en las directrices de evaluación de impacto de la Comisión Europea [2] y por las Academias Europeas de Ciencias [3] , cuando un análisis de sensibilidad (AS) de un estudio basado en modelos tiene como objetivo demostrar la solidez de la evidencia proporcionada por el modelo en el contexto en el que la inferencia alimenta una política o un proceso de toma de decisiones.
En los contextos en que el trabajo científico alimenta las políticas, el marco del análisis, su contexto institucional y las motivaciones de su autor pueden llegar a ser muy relevantes, y un análisis socioeconómico puro -con su enfoque en la incertidumbre cuantificada- puede resultar insuficiente. El énfasis en el marco puede derivar, entre otras cosas, de la relevancia del estudio de políticas para diferentes grupos de interés que se caracterizan por diferentes normas y valores, y por lo tanto por una historia diferente sobre "cuál es el problema" y, sobre todo, sobre "quién está contando la historia". La mayoría de las veces, el marco incluye supuestos implícitos, que pueden ser políticos (por ejemplo, qué grupo necesita ser protegido) o técnicos (por ejemplo, qué variable puede tratarse como una constante).
Para tomar estas preocupaciones en debida consideración, la auditoría de sensibilidad extiende los instrumentos del análisis de sensibilidad para proporcionar una evaluación de todo el proceso de generación de conocimiento y modelo. Se inspira en NUSAP [4], un método utilizado para comunicar la calidad de la información cuantitativa con la generación de "pedigríes" de números. Del mismo modo, la auditoría de sensibilidad se ha desarrollado para proporcionar pedigríes de modelos e inferencias basadas en modelos. La auditoría de sensibilidad es especialmente adecuada en un contexto adversarial, donde no solo la naturaleza de la evidencia, sino también el grado de certeza e incertidumbre asociado a la evidencia, es objeto de intereses partidistas. Estos son los entornos considerados en la ciencia postnormal [5] o en la ciencia del modo 2 [6] . La ciencia postnormal (CPN) es un concepto desarrollado por Silvio Funtowicz y Jerome Ravetz , [5] [7] [8] que propone una metodología de investigación que es apropiada cuando “los hechos son inciertos, los valores están en disputa, hay mucho en juego y las decisiones son urgentes” (Funtowicz y Ravetz, 1992: [8] 251–273). La ciencia del modo 2 , acuñada en 1994 por Gibbons et al., se refiere a un modo de producción de conocimiento científico que está impulsado por el contexto, centrado en los problemas e interdisciplinario. La auditoría de sensibilidad consiste en una lista de verificación de siete puntos:
1. Use las matemáticas con inteligencia: pregunte si se están utilizando matemáticas complejas cuando se podría lograr el mismo resultado con matemáticas más simples. Verifique si el modelo se está extendiendo más allá de su uso previsto.
2. Busque suposiciones: descubra qué suposiciones se hicieron en el estudio y vea si estaban claramente enunciadas o estaban ocultas.
3. Evite la entrada de basura, salida de basura: verifique si los datos utilizados en el modelo fueron manipulados para que los resultados parecieran más certeros de lo que realmente son, o si se hicieron excesivamente inciertos para evitar la regulación.
4. Prepárese para las críticas: es mejor encontrar problemas en su estudio antes de que otros lo hagan. Realice comprobaciones rigurosas de incertidumbre y sensibilidad antes de publicar.
5. Sea transparente: no mantenga su modelo en secreto. Hágalo claro y comprensible para el público.
6. Concéntrese en el problema correcto: asegúrese de que su modelo aborde el problema correcto y no solo resuelva un problema que realmente no existe.
7. Realice análisis exhaustivos: realice pruebas exhaustivas para medir la incertidumbre y la sensibilidad utilizando los mejores métodos disponibles.
Estas reglas tienen como objetivo ayudar al analista a anticipar las críticas, en particular las relacionadas con la inferencia basada en modelos que se incorpora a una evaluación de impacto. ¿Qué preguntas y objeciones puede recibir el modelador? A continuación se presenta una lista de posibles:
La auditoría de sensibilidad se describe en las Directrices de la Comisión Europea para la evaluación de impacto. [2] Los extractos relevantes son (pág. 392):
SAPEA, la asociación de academias europeas de ciencia para la política, describe en detalle la auditoría de sensibilidad en su informe de 2019 titulado “Dar sentido a la ciencia para la política en condiciones de complejidad e incertidumbre”. [3]