La auditoría de sensibilidad es una extensión del análisis de sensibilidad para su uso en estudios de modelado relevantes para políticas. [1] Se recomienda su uso, entre otras cosas en las directrices de evaluación de impacto de la Comisión Europea [2] y por las Academias de Ciencias Europeas [3] , cuando se pretende que un análisis de sensibilidad (SA) de un estudio basado en modelos demuestre la solidez de la evidencia proporcionada por el modelo en el contexto en el que la inferencia alimenta una política o un proceso de toma de decisiones.
En entornos donde el trabajo científico alimenta las políticas, el marco del análisis, su contexto institucional y las motivaciones de su autor pueden volverse muy relevantes, y una AS pura -con su enfoque en la incertidumbre cuantificada- puede ser insuficiente. El énfasis en el marco puede derivar, entre otras cosas, de la relevancia del estudio de políticas para diferentes grupos de interés que se caracterizan por diferentes normas y valores y, por lo tanto, por una historia diferente sobre "cuál es el problema" y, principalmente, sobre "quién es el problema". contando la historia'. Muy a menudo el marco incluye suposiciones implícitas, que pueden ser políticas (por ejemplo, qué grupo necesita ser protegido) hasta técnicas (por ejemplo, qué variable puede tratarse como una constante).
Para tener en cuenta estas preocupaciones, la auditoría de sensibilidad amplía los instrumentos del análisis de sensibilidad para proporcionar una evaluación de todo el proceso de generación de conocimientos y modelos. Se inspira en NUSAP , [4] un método utilizado para comunicar la calidad de la información cuantitativa con la generación de "pedigríes" de números. Asimismo, se ha desarrollado una auditoría de sensibilidad para proporcionar genealogías de modelos e inferencias basadas en modelos. La auditoría de sensibilidad es especialmente adecuada en un contexto contradictorio, donde no sólo la naturaleza de la evidencia, sino también el grado de certeza e incertidumbre asociada a la evidencia, es objeto de intereses partidistas. Estos son los escenarios considerados en la ciencia posnormal [5] o en la ciencia Modo 2 [6] . La ciencia posnormal (SNP) es un concepto desarrollado por Silvio Funtowicz y Jerome Ravetz , [5] [7] [8] que propone una metodología de investigación que es apropiada cuando “los hechos son inciertos, los valores están en disputa, hay mucho en juego y las decisiones urgente” (Funtowicz y Ravetz, 1992: [8] 251-273). El Modo 2 de Ciencia, acuñado en 1994 por Gibbons et al., se refiere a un modo de producción de conocimiento científico impulsado por el contexto, centrado en problemas e interdisciplinario. La auditoría de sensibilidad consta de una lista de verificación de siete puntos:
1. Utilice las matemáticas con prudencia: pregunte si se utilizan matemáticas complejas cuando las matemáticas más simples podrían funcionar. Compruebe si el modelo se está estirando más allá de su uso previsto.
2. Busque suposiciones: descubra qué suposiciones se hicieron en el estudio y vea si estaban claramente expresadas u ocultas.
3. Evite la entrada y salida de basura: verifique si los datos utilizados en el modelo fueron manipulados para que los resultados parecieran más seguros de lo que realmente son, o si se hicieron demasiado inciertos para evitar la regulación.
4. Prepárese para las críticas: es mejor encontrar problemas en su estudio antes que otros. Realice controles exhaustivos de incertidumbre y sensibilidad antes de publicar.
5. Sea transparente: no mantenga su modelo en secreto. Que sea claro y comprensible para el público.
6. Concéntrese en el problema correcto: asegúrese de que su modelo aborde el problema correcto y no solo resuelva un problema que en realidad no existe.
7. Realice análisis exhaustivos: realice pruebas exhaustivas para medir la incertidumbre y la sensibilidad utilizando los mejores métodos disponibles.
Estas reglas están destinadas a ayudar a un analista a anticipar las críticas, en particular las relacionadas con la inferencia basada en modelos que alimenta una evaluación de impacto. ¿Qué preguntas y objeciones puede recibir el modelador? Aquí hay una posible lista:
La auditoría de sensibilidad se describe en las Directrices de la Comisión Europea para la evaluación de impacto. [2] Extractos relevantes son (págs. 392):
La asociación de ciencia para políticas SAPEA, la asociación de Academias Europeas, describe en detalle la auditoría de sensibilidad en su informe de 2019 titulado “Dar sentido a la ciencia para las políticas en condiciones de complejidad e incertidumbre”. [3]