La ley de Goodhart es un adagio que suele enunciarse como "Cuando una medida se convierte en un objetivo, deja de ser una buena medida". [1] Recibe su nombre del economista británico Charles Goodhart , a quien se le atribuye haber expresado la idea central del adagio en un artículo de 1975 sobre la política monetaria en el Reino Unido: [2]
Cualquier regularidad estadística observada tenderá a colapsar una vez que se ejerza presión sobre ella con fines de control. [3]
Charles Goodhart, que da nombre al adagio, pronunciando un discurso en 2012
Numerosos conceptos están relacionados con esta idea, al menos uno de los cuales es anterior a la afirmación de Goodhart. [6] Cabe destacar que la ley de Campbell probablemente tenga precedencia, como ha argumentado Jeff Rodamar, ya que varias formulaciones datan de 1969. [7] Otros académicos tenían ideas similares en ese momento. El libro de Jerome Ravetz de 1971 El conocimiento científico y sus problemas sociales [8] también es anterior a Goodhart, aunque no formula la misma ley. Analiza cómo se pueden manipular los sistemas en general, se centra en casos en los que los objetivos de una tarea son complejos, sofisticados o sutiles. En tales casos, las personas que poseen las habilidades para ejecutar las tareas correctamente buscan sus propios objetivos en detrimento de las tareas asignadas. Cuando los objetivos se instancian como métricas, esto podría verse como equivalente a la afirmación de Goodhart y Campbell.
Poco después de la publicación de Goodhart, otros sugirieron ideas estrechamente relacionadas, incluida la crítica de Lucas (1976). Tal como se aplica en economía , la ley también está implícita en la idea de expectativas racionales , una teoría en economía que establece que quienes conocen un sistema de recompensas y castigos optimizarán sus acciones dentro de ese sistema para lograr los resultados deseados. Por ejemplo, si un empleado es recompensado por la cantidad de automóviles vendidos cada mes, intentará vender más automóviles, incluso con pérdidas.
Si bien se originó en el contexto de las respuestas del mercado, la ley tiene profundas implicaciones para la selección de objetivos de alto nivel en las organizaciones. [3] Jon Danielsson afirma que la ley es la siguiente:
Cualquier relación estadística fracasará cuando se utilice con fines políticos.
Un modelo de riesgo se rompe cuando se utiliza con fines regulatorios. [9]
Mario Biagioli relacionó el concepto con las consecuencias de utilizar medidas de impacto de citas para estimar la importancia de las publicaciones científicas: [10] [11]
Todas las métricas de evaluación científica están destinadas a ser objeto de abuso. La ley de Goodhart [...] establece que cuando se elige una característica de la economía como indicador de la misma, deja inexorablemente de funcionar como tal porque la gente empieza a manipularla.
Generalización
Los autores posteriores generalizaron el argumento de Goodhart sobre la política monetaria y lo convirtieron en un adagio más general sobre las medidas y los objetivos en los sistemas de contabilidad y evaluación. En un capítulo de un libro publicado en 1996, Keith Hoskin escribió:
La “ley de Goodhart” –que establece que toda medida que se convierte en un objetivo se convierte en una mala medida– se está reconociendo inexorablemente, aunque con pesar, como una de las leyes más importantes de nuestros tiempos. Con pesar, porque esta ley de las consecuencias no deseadas parece ineludible, pero lo es, creo yo, porque es el corolario inevitable de esa invención de la modernidad: la rendición de cuentas. [12]
En un artículo de 1997 en respuesta al trabajo de Hoskin y otros sobre contabilidad financiera y calificaciones en educación, la antropóloga Marilyn Strathern expresó la Ley de Goodhart como "Cuando una medida se convierte en un objetivo, deja de ser una buena medida", y vinculó el sentimiento con la historia de la contabilidad que se remonta a Gran Bretaña en el siglo XIX:
Cuando una medida se convierte en un objetivo, deja de ser una buena medida. Cuanto más se convierte en una expectativa el rendimiento en un examen 2.1 , peor se vuelve como discriminador del rendimiento individual. Hoskin describe esto como la "ley de Goodhart", en referencia a la observación de este último sobre los instrumentos de control monetario que llevaron a que se tuvieran que inventar otros dispositivos para la flexibilidad monetaria. Sin embargo, los objetivos que parecen mensurables se convierten en herramientas atractivas para la mejora. La vinculación de la mejora con un aumento conmensurable produjo prácticas de amplia aplicación. Fue esa combinación de "ser" y "deber ser", junto con las técnicas de evaluaciones escritas cuantificables, lo que condujo, en la opinión de Hoskin, a la invención modernista de la rendición de cuentas. Esta se articuló en Gran Bretaña por primera vez alrededor de 1800 como "la terrible idea de la rendición de cuentas" (Ref. 3, p. 268). [1]
Ejemplos
Declaración de San Francisco sobre la evaluación de la investigación : manifiesto de 2012 contra el uso del factor de impacto de las revistas para evaluar el trabajo de los científicos. La declaración denuncia varios problemas en la ciencia y, como explica la ley de Goodhart, uno de ellos es que la medición se ha convertido en un objetivo. La correlación entre el índice h y los premios científicos está disminuyendo desde que se ha generalizado el uso del índice h. [13]
En el ámbito de la atención sanitaria , la aplicación incorrecta de las métricas puede dar lugar a resultados adversos. Por ejemplo, los hospitales que se esfuerzan por reducir la duración de la estancia hospitalaria pueden dar de alta a los pacientes de forma prematura sin darse cuenta, lo que da lugar a un aumento de las readmisiones de urgencia. [16]
Según How to Read Numbers (Cómo leer los números) , la ley se aplicó a la respuesta del gobierno británico a la pandemia de COVID-19 cuando anunció un objetivo de 100.000 pruebas de COVID-19 por día, inicialmente un objetivo para las pruebas realmente realizadas y luego para la capacidad máxima de realización de pruebas. La cantidad de pruebas de diagnóstico útiles fue mucho menor que la cifra informada por el gobierno cuando anunció que había alcanzado el objetivo. [17]
En el programa de televisión de HBO , The Wire , Roland "Prezbo" Pryzbylewski traza paralelismos entre la política de las escuelas públicas de enseñar para los exámenes y la mejora de las estadísticas delictivas mediante la reclasificación de esos delitos como "falsificación de las estadísticas". Señala que ambas son ejemplos de estrategias que son ineficaces para lograr mejoras sustanciales en el aprendizaje y la seguridad pública, respectivamente, porque se basan en métricas ineficaces de puntuaciones de pruebas estandarizadas y tasas de delitos denunciados. [18]
Véase también
Ley de Campbell – Adagio sobre los incentivos perversos – “Cuanto más se utilice un indicador social cuantitativo para la toma de decisiones sociales, más sujeto estará a presiones de corrupción”
Efecto cobra : incentivo que tiene un resultado contrario Páginas que muestran descripciones breves de los objetivos de redireccionamiento: cuando los incentivos diseñados para resolver un problema terminan recompensando a las personas por empeorarlo.
Sesgo de confirmación : sesgo que confirma actitudes existentes: la tendencia a buscar y recordar información que confirma o apoya las creencias previas de uno.
Efecto Hawthorne – Fenómeno social por el cual ser observado provoca cambios de comportamiento – cuando las personas modifican un aspecto de su comportamiento en respuesta a su conciencia de ser observadas
Jugar con el sistema : abusar y manipular un sistema para beneficio propio o para un resultado deseado, utilizando las mismas reglas y procedimientos destinados a proteger y regular el sistema Pages displaying wikidata descriptions as a fallback: manipular reglas y procedimientos para obtener un resultado deseado
Crítica de Lucas : cambio de paradigma en el pensamiento económico de los años 1970, llamado así por el economista estadounidense Robert Lucas: es ingenuo intentar predecir los efectos de un cambio en la política económica basándose únicamente en las relaciones observadas en los datos históricos.
Falacia de McNamara : razonamiento erróneo basado únicamente en métricas numéricas; implica tomar una decisión basándose únicamente en observaciones cuantitativas (o métricas ) e ignorando todas las demás.
Fijación métrica : tendencia de los tomadores de decisiones a poner un énfasis excesivo en métricas seleccionadas.
Sobreajuste : Falla en el modelado matemático: un análisis que corresponde demasiado de cerca o con demasiada exactitud a un conjunto particular de datos.
Principio de Peter – Concepto de gestión de Laurence J. Peter: las personas son promovidas en función del éxito en sus puestos anteriores, y no del rol del nuevo puesto.
Reificación (falacia) – Falacia de tratar una abstracción como si fuera una cosa real
Relaciones entre mapas y territorios : relación entre un objeto y una representación de ese objeto Pages displaying short descriptions of redirect targets; a veces se hace referencia a ella mediante la frase "el mapa no es el territorio". Es un tipo de reificación (falacia) , en la que se trata un modelo de algo como si fuera exactamente igual a la cosa real que se está modelando. La ley de Goodhart aborda un subconjunto de los problemas de los mapas y territorios.
Especificación de juegos : concepto de inteligencia artificialPages displaying short descriptions of redirect targets
Sustitución – Fenómeno psicológico; reemplazo de un constructo por su medida – en los negocios, cuando una medida de un constructo de interés evoluciona para reemplazar ese constructo
Principio de incertidumbre – Principio fundamental de la física cuántica – Cuando se intenta medir un aspecto con mayor precisión, ese intento influye en la mensurabilidad de otro aspecto.
Referencias
^ ab Strathern, Marilyn (1997). "'Mejorando las calificaciones': auditoría en el sistema universitario británico". Revista Europea . 5 (3). John Wiley & Sons : 305–321. doi :10.1002/(SICI)1234-981X(199707)5:3<305::AID-EURO184>3.0.CO;2-4. S2CID 145644958.
^ Goodhart, Charles (1975). "Problemas de la gestión monetaria: la experiencia del Reino Unido". Papers in Monetary Economics . Papers in Currency Economics 1975; 1; 1. - [Sydney]. - 1975, pág. 1-20. Vol. 1. Sydney: Banco de la Reserva de Australia.
^ ab Goodhart, Charles (1975). "Problemas de la gestión monetaria: la experiencia del Reino Unido". En Courakis, Anthony S. (ed.). Inflación, depresión y política económica en Occidente . Totowa, Nueva Jersey: Barnes and Noble Books (publicado en 1981). pág. 116. ISBN0-389-20144-8.
^ Smith, David (1987). El ascenso y la caída del monetarismo . Londres: Penguin Books . ISBN9780140227543.
^ Manheim, David; Garrabrant, Scott (2018). "Categorización de variantes de la ley de Goodhart". arXiv : 1803.04585 [cs.AI].
^ Manheim, David (29 de septiembre de 2016). "Las métricas sobrepotenciadas se comen los objetivos poco especificados". Consultado el 26 de enero de 2017 .
^ Rodamar, Jeffery (28 de noviembre de 2018). «¡Debería haber una ley! Campbell versus Goodhart». Significance . 15 (6): 9. doi : 10.1111/j.1740-9713.2018.01205.x .
^ Ravetz, Jerome R. (1971). El conocimiento científico y sus problemas sociales . New Brunswick, New Jersey: Transaction Publishers. pp. 295–296. ISBN1-56000-851-2.OCLC 32779931 .
^ Daníelsson, Jón (julio de 2002). "El emperador no tiene ropa: límites a la modelización del riesgo". Journal of Banking & Finance . 26 (7): 1273–1296. CiteSeerX 10.1.1.27.3392 . doi :10.1016/S0378-4266(02)00263-7.
^ Biagioli, Mario (12 de julio de 2016). "Cuidado con los tramposos en el juego de las citas" (PDF) . Nature . 535 (7611): 201. Bibcode :2016Natur.535..201B. doi : 10.1038/535201a . PMID 27411599.
^ Varela, Diego; Benedetto, Giacomo; Sanchez-Santos, Jose Manuel (30 de diciembre de 2014). «Declaración editorial: Lecciones de la ley de Goodhart para la gestión de la revista». Revista Europea de Gobierno y Economía . 3 (2): 100–103. doi : 10.17979/ejge.2014.3.2.4299 . hdl : 2183/23376 . S2CID 152551763 . Consultado el 8 de febrero de 2022 .
^ Hoskin, Keith (1996). La 'terrible idea de la rendición de cuentas': inscribir a las personas en la medición de objetos .
^ Koltun, V; Hafner, D (2021). "El índice h ya no es un correlato eficaz de la reputación científica". PLOS One . 16 (6): e0253397. arXiv : 2102.03234 . Bibcode :2021PLoSO..1653397K. doi : 10.1371/journal.pone.0253397 . PMC 8238192 . PMID 34181681. Nuestros resultados sugieren que se debería reconsiderar el uso del índice h para clasificar a los científicos y que las medidas de asignación fraccionaria como h-frac brindan alternativas más sólidas. Página web complementaria
^ Mooers, Arne (23 de mayo de 2022). "¿Cuándo está realmente extinta una especie?". The Conversation . Consultado el 23 de junio de 2023 .
^ Martin, TE; Bennett, GC; Fairbairn, A.; Mooers, AO (marzo de 2023). «Taxones 'perdidos' y sus implicaciones para la conservación». Conservación Animal . 26 (1): 14–24. Bibcode :2023AnCon..26...14M. doi :10.1111/acv.12788. ISSN 1367-9430. S2CID 248846699.
^ Babar, Sultan M. (8 de noviembre de 2023). "El efecto Cobra en la atención sanitaria: la ley de Goodhart y los peligros de las métricas erróneas". sultan.babar.me . Consultado el 25 de septiembre de 2024 .
^ Revanka, Roshan (20 de enero de 2016). "Juking the Stats". medium.com . Consultado el 14 de agosto de 2024 .
Lectura adicional
Chrystal, K. Alec; Mizen, Paul D. (12 de noviembre de 2001). "La ley de Goodhart: sus orígenes, significado e implicaciones para la política monetaria" (PDF) . Consultado el 3 de julio de 2020 .
Manheim, David (9 de junio de 2016). "La ley de Goodhart y por qué es difícil medir". Ribbonfarm . Consultado el 3 de julio de 2020 .
Malone, Kenny; Gonzalez, Sarah; Horowitz-Ghazi, Alexi; Goldmark, Alex (21 de noviembre de 2018). "Las leyes de la oficina". Planet Money (podcast). NPR . Consultado el 3 de julio de 2020 .
Muller, Jerry Z. (2018). La tiranía de las métricas. Princeton University Press. ISBN 978-0-691-19126-3.
