La evaluación basada en teoría (también llamada evaluación impulsada por teoría ) es un término general para cualquier enfoque de evaluación de programas que desarrolle una teoría del cambio y la utilice para diseñar, implementar, analizar e interpretar los hallazgos de una evaluación. [1] [2] [3] Más específicamente, una evaluación está impulsada por teoría si: [4]
formula una teoría del cambio utilizando alguna combinación de ciencias sociales , experiencia vivida y experiencia de profesionales relacionados con el programa;
desarrolla y prioriza preguntas de evaluación utilizando la teoría;
utiliza la teoría para guiar el diseño y la implementación de la evaluación;
utiliza la teoría para operacionalizar variables contextuales, de proceso y de resultado; y
Proporciona una explicación causal de cómo y por qué se lograron los resultados, incluyendo si el programa funcionó y/o tuvo consecuencias no deseadas (deseables o perjudiciales) y qué modera los resultados.
Al investigar los mecanismos a través de los cuales se logran los resultados, los enfoques basados en la teoría facilitan el aprendizaje para mejorar los programas y cómo se implementan, y ayudan a acumular conocimiento en programas aparentemente diferentes. [5] [6] Esto contrasta con las evaluaciones de "caja negra" basadas en métodos, que se centran en seguir los pasos de un método (por ejemplo, un experimento aleatorio o un grupo de discusión ) y solo evalúan si un programa conduce a los resultados previstos. [7] Los enfoques basados en la teoría también pueden mejorar la validez de las evaluaciones, por ejemplo, conduciendo a estimaciones más precisas del impacto en ensayos controlados aleatorios . [8]
Historia
La evaluación basada en teorías surgió en los años 70 y 80 como respuesta a las limitaciones de las evaluaciones de "caja negra" basadas en métodos. El término evaluación basada en teorías fue acuñado por Huey T. Chen y Peter H. Rossi . [9] Chen (1990) [10] escribió la primera introducción integral a la realización de evaluaciones basadas en teorías, por ejemplo, explicando cómo desarrollar una teoría del cambio de programas y los diferentes tipos de diseño. Sus orígenes se remontan [11] a un libro de Carol Weiss (1972) [12] y a un artículo raramente citado de Carol Taylor Fitz-Gibbon y Lynn Lyons Morris (1975). [13] Sin embargo, "el primer uso publicado de lo que reconoceríamos como teoría de programas" fue en una evaluación de programas de capacitación, realizada por Don Kirkpatrick en 1959. [14]
Funnell y Rogers (2011, págs. 23-24) comentan la nomenclatura confusa del campo, enumerando 22 enfoques como la evaluación basada en la teoría y la ciencia de la evaluación basada en la teoría de programas que son equivalentes o se superponen significativamente con la evaluación basada en la teoría. La primera definición de evaluación basada en la teoría , de Fitz-Gibbon y Morris (1975), es casi idéntica a la evaluación basada en la teoría : [15]
Una evaluación de un programa basada en teoría es aquella en la que la selección de las características del programa a evaluar está determinada por una conceptualización explícita del programa en términos de una teoría […] que intenta explicar cómo el programa produce los efectos deseados. La teoría puede ser psicológica […] o sociopsicológica […] o filosófica […]. La característica esencial es que la teoría señala una relación causal entre un proceso A y un resultado B .
En consecuencia, los términos evaluación basada en la teoría y evaluación impulsada por la teoría se utilizan a menudo indistintamente en la literatura. [16] [17] [18] Sin embargo, la evaluación basada en la teoría a veces se interpreta de manera más estricta para significar evaluaciones cualitativas o basadas en estudios de casos de n pequeño realizadas sin un grupo de comparación, por ejemplo utilizando el seguimiento de procesos o el análisis comparativo cualitativo . [19] [20]
¿Qué se entiende por "teoría"?
La teoría de la evaluación basada en la teoría busca estar lo más cerca posible de las causas proximales de un problema social y del lugar de intervención en lugar de, por ejemplo, una teoría "grandiosa" , que intenta proporcionar una comprensión global de la sociedad, o una teoría metafísica sobre la naturaleza de la realidad social: [21]
La adopción de una u otra de las teorías globales actuales para atacar, por ejemplo, el problema de la delincuencia juvenil no supone un gran avance para la práctica de la evaluación, pero sí ayuda mucho comprender la estructura de autoridad en las escuelas y los mecanismos de influencia del grupo de pares y la disciplina de los padres a la hora de diseñar y evaluar un programa que se supone que debe reducir los problemas disciplinarios en las escuelas. [...] La perspectiva basada en la teoría se acerca más a lo que los econometristas llaman "especificación del modelo" que teorías más complicadas, más abstractas y generales.
También se hace una distinción entre la teoría normativa , que se refiere a lo que se supone que debe hacer un programa y cómo debe implementarse, y la teoría causal , que especifica cómo se cree que funciona el programa. [22] Entonces, puede haber dos formas generales en las que un programa no logra los resultados deseados: (1) un programa puede implementarse como se pretende según la teoría normativa; sin embargo, la teoría causal es incorrecta; y (2) la teoría causal es correcta; sin embargo, el programa no se implementó correctamente. [23]
Los modelos causales gráficos (GCM) se pueden utilizar para formalizar teorías causales y diseñar, por ejemplo, cuasi-experimentos basados en teorías. [24] Una de las ventajas de los GCM es que se pueden utilizar para determinar automáticamente qué variables necesitan ser ajustadas o emparejadas estadísticamente para estimar el efecto causal de un programa.
Esquema del modelo de acción/modelo de cambio de Chen
El esquema del modelo de acción/modelo de cambio de Chen [25] proporciona un ejemplo de cómo se conceptualiza una teoría de programas y su contexto. Luego se completan los elementos del esquema para cada programa en particular.
Esquema del modelo de acción/modelo de cambio de Chen (2015)
El modelo de cambio especifica cómo una intervención de un programa conduce a resultados a través de determinantes , también conocidos como variables intermedias o mediadoras.
El modelo de acción especifica cómo el personal y las organizaciones prestadoras entregan la intervención a los beneficiarios:
La población objetivo incluye una especificación de quiénes son los participantes y cómo se reclutan.
La organización implementadora (por ejemplo, una clínica o escuela) y su personal de implementadores (por ejemplo, terapeutas o maestros) son responsables de asignar recursos , capacitar y brindar las intervenciones.
Los protocolos de intervención y prestación de servicios incluirían manuales de terapia o programas de estudio de materias.
Las organizaciones asociadas y los socios comunitarios son organizaciones distintas de la organización implementadora. En el caso de una intervención de psicoterapia, pueden incluirse escuelas o médicos generales que publicitan el programa o derivan a los beneficiarios al mismo.
El contexto ecológico se refiere a aspectos del entorno, por ejemplo, la familia, los amigos, los compañeros de trabajo, otros estudiantes, etc., que pueden moderar los efectos de un programa.
Métodos basados en la teoría
Se ha argumentado que se puede aplicar toda la gama de métodos de investigación. Por ejemplo, Chen (2015) proporciona ejemplos que utilizan experimentos aleatorios , diseños cuasiexperimentales , monitoreo de procesos y resultados y métodos cualitativos . [26] Aunque los defensores de la evaluación basada en la teoría son críticos con los experimentos de "caja negra", Chen y Rossi (1983, p. 292) [27] sostienen que los experimentos basados en la teoría son posibles y deseables:
Los defensores del paradigma experimental de caja negra a menudo pasan por alto el hecho de que, después de la aleatorización, las variables exógenas siguen estando correlacionadas con las variables de resultado. Saber cómo esos factores exógenos afectan los resultados permite construir estimaciones más precisas de los efectos experimentales al controlar esas variables exógenas.
Se ha argumentado que la evaluación basada en la teoría se centra demasiado en enfoques estadísticos, como experimentos aleatorios, cuasi-experimentos y modelos de ecuaciones estructurales ; [28] sin embargo, también se ha defendido la importancia de los métodos cualitativos, en particular al desarrollar teorías de programas y comprender la implementación. [29]
También existe un debate metodológico sobre si las evaluaciones realistas , consideradas un tipo particular de enfoque impulsado por la teoría, pueden incluir ensayos controlados aleatorios en cualquier forma. Algunos evaluadores piensan que pueden y realizan lo que llaman "ensayos realistas". [30] [31] [32] Otros argumentan que un ensayo realista es un "oxímoron" y recomiendan llamarlos en cambio "ensayos orientados a la teoría". [33] Una revisión de 2023 de supuestos ensayos realistas concluyó que si son realmente realistas depende de los compromisos "ontológicos y epistemológicos" de los evaluadores y que las diferencias "no se pueden resolver" revisando los estudios realizados. [34]
Ejemplos
Los ejemplos analizados en una revisión sistemática de 2011 de 45 evaluaciones basadas en teorías incluyen: [35]
Una evaluación del Programa de Demostración de Salud Mental para Niños y Adolescentes de Fort Bragg, un sistema de atención de salud mental administrado con un único punto de entrada, que utilizó entrevistas individuales, grupos de discusión y revisión de documentos para ayudar al desarrollo de una teoría del cambio. [36] La teoría articuló por qué se pensaba que un sistema de atención integrado sería más rentable que un sistema fragmentado.
Una evaluación de un juego de mesa creado para ayudar a enseñar educación empresarial en la escuela secundaria. [37] Esta evaluación desarrolló una teoría del cambio y la utilizó para seleccionar medidas y diseñar análisis de regresión de procesos y resultados.
Evaluación de un programa de reducción de basura. [38] El programa intentó alentar a los residentes a reducir el volumen de basura que producen al reducir la frecuencia de recolección; sin embargo, una consecuencia negativa no deseada identificada por la evaluación fue que los residentes produjeron el mismo volumen que antes, simplemente almacenando su basura en sus hogares en días sin recolección. Este efecto se identificó utilizando un análisis comparativo de series de tiempo interrumpidas con promedio móvil integrado autorregresivo (ARIMA) .
Una revisión de 2014 sobre la evaluación basada en la teoría en psicología escolar [39] destacó dos ejemplos ilustrativos:
Una evaluación de la consulta conductual conjunta, una "intervención basada en la fortaleza enfocada en el desarrollo de la competencia conductual y social en los niños". [40] La evaluación puso a prueba una teoría del cambio utilizando un ensayo controlado aleatorizado por grupos y un análisis de mediación .
^ Chen, H.-T. y Rossi, PH (1980). El enfoque de evaluación basado en múltiples objetivos y en la teoría: un modelo que vincula las ciencias sociales básicas y aplicadas. Social Forces, 59, 106–122.
^ Coryn, CLS, Noakes, LA, Westine, CD y Schröter, DC (2011, pág. 201). Una revisión sistemática de la práctica de evaluación basada en la teoría de 1990 a 2009. American Journal of Evaluation, 32(2), 199–226.
^ Donaldson, SI (2022, pág. 9). Introducción a la evaluación de programas basada en teoría (2.ª ed.). Routledge.
^ Coryn, CLS, Noakes, LA, Westine, CD y Schröter, DC (2011, págs. 203-205). Una revisión sistemática de la práctica de evaluación basada en la teoría de 1990 a 2009. American Journal of Evaluation, 32(2), 199-226.
^ Chen, HT (2012). Evaluación basada en la teoría: marco conceptual, aplicación y avance. En R. Strobl, O. Lobermeier y W. Heitmeyer (Eds.), Evaluación von Programmen und Projekten für eine demokratische Kultur (págs. 17-40). Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-531-19009-9_2
^ Weiss, CH (1995). Nada tan práctico como una buena teoría: exploración de la evaluación basada en la teoría para iniciativas comunitarias integrales para niños y familias. En JP Connell, AC Kublsch, LB Schorr y CH Weiss (Eds.), Nuevos enfoques para evaluar iniciativas comunitarias: conceptos, métodos y contextos (Número 7, págs. 65-92). The Aspen Institute.
^ Chen, H.-T. y Rossi, PH (1980). El enfoque de evaluación basado en múltiples objetivos y en la teoría: un modelo que vincula las ciencias sociales básicas y aplicadas. Social Forces, 59, 106–122.
^ Chen, H.-T. y Rossi, PH (1983). Evaluación con sentido: el enfoque basado en la teoría. Evaluation Review, 7(3), 283–302.
^ Chen, H.-T. y Rossi, PH (1980). El enfoque de evaluación basado en múltiples objetivos y en la teoría: un modelo que vincula las ciencias sociales básicas y aplicadas. Social Forces, 59, 106–122.
^ Worthen, BR (1996). Nota del editor: Los orígenes de la evaluación basada en la teoría. Evaluation Practice, 17(2), 169–171.
^ Weiss, CH (1972). Investigación evaluativa: métodos para evaluar la eficacia de los programas. Englewood Cliffs, NJ: Prentice-Hall.
^ Fitz-Gibbon, CT y Morris, LL (1975). Evaluación basada en la teoría. Evaluation Comment, 5(1), 1–4. Reimpreso en Fitz-Gibbon, CT y Morris, LL (1996). Evaluación basada en la teoría. Evaluation Practice, 17(2), 177–184.
^ Véase p. 16, Funnell, SC, Rogers, PJ (2011). Teoría de programas con propósito: uso efectivo de teorías de cambio y modelos lógicos . Jossey-Bass.
^ Fitz-Gibbon, CT, y Morris, LL (1975, pág. 1).
^ Birckmayer, JD, & Weiss, CH (2000). Evaluación basada en la teoría en la práctica: ¿qué aprendemos? Evaluation review, 24(4), 407-431.
^ Matta, Corrado; Lindvall, Jannika; Ryve, Andreas (2024). "Las recompensas mecanicistas de la integración de datos y teoría para la evaluación basada en teoría". Revista estadounidense de evaluación . 45 (1): 110–132. doi :10.1177/10982140221122764.
^ Dahler-Larsen, P. (2018, p. 9). La evaluación basada en teoría se enfrenta a la ambigüedad: el papel de las variables Janus. American Journal of Evaluation, 39(1), 6–23.
^ Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R. y Befani, B. (2012). Ampliación de la gama de diseños y métodos para evaluaciones de impacto. Instituto de Estudios para el Desarrollo.
^ Tesoro de Su Majestad (2020). El libro magenta.
^ Chen, H.-T. y Rossi, PH (1983). Evaluación con sentido: el enfoque basado en la teoría. Evaluation Review, 7(3), 283–302.
^ Chen, HT (1989). El marco conceptual de la perspectiva basada en la teoría. Evaluación y planificación de programas, 12(4), 391-396.
^ Weiss, CH (1972, pág. 38). Investigación evaluativa: métodos para evaluar la eficacia de los programas. Englewood Cliffs, NJ: Prentice-Hall.
^ Schmidt, R. (2024). Un método gráfico para la atribución causal de programas en la evaluación basada en teoría. Evaluación, 13563890231223171.
^ Chen, HT (2015, Capítulo 3). Evaluación práctica de programas: evaluación basada en la teoría y la perspectiva de evaluación integrada. SAGE Publications Ltd.
^ Chen, HT (2015). Evaluación práctica de programas: evaluación basada en la teoría y la perspectiva de evaluación integrada (2.ª edición). Sage Publications.
^ Chen, H.-T. y Rossi, PH (1983). Evaluación con sentido: el enfoque basado en la teoría. Evaluation Review, 7(3), 283–302.
^ Smith, NL (1994). Aclaración y ampliación de la aplicación de evaluaciones basadas en la teoría de programas. Evaluation Practice, 15(1), 83–87.
^ Chen, HT (1994). Evaluaciones basadas en teorías: necesidad, dificultades y opciones. American Journal of Evaluation, 15(1), 79–82. https://doi.org/10.1177/109821409401500109
^ Martin P y Tannenbaum C (2017) Una evaluación realista de las decisiones de los pacientes de desprescribir en el ensayo EMPOWER. BMJ Open 7(4): e015959.
^ Bonell C, Fletcher A, Morton M, et al. (2012) Ensayos controlados aleatorios realistas: un nuevo enfoque para evaluar intervenciones complejas de salud pública. Ciencias sociales y medicina 75(12): 2299–306.
^ Bonell, C., Melendez-Torres, GJ, y Warren, E. (2024). Ensayos realistas y revisiones sistemáticas: evidencia rigurosa y útil para informar las políticas de salud . Cambridge: Cambridge University Press.
^ Marchal, B., Westhorp, G., Wong, G., Van Belle, S., Greenhalgh, T., Kegels, G. y Pawson, R. (2013). Ensayos aleatorios controlados realistas de intervenciones complejas: un oxímoron. Social Science & Medicine, 94, 124–128.
^ Nielsen, SB, Jaspers, S. Ø., & Lemire, S. (2023). El curioso caso del juicio realista: ¿oxímoron metodológico o unicornio? Evaluación.
^ Coryn, CLS, Noakes, LA, Westine, CD y Schröter, DC (2011). Una revisión sistemática de la práctica de evaluación basada en la teoría de 1990 a 2009. American Journal of Evaluation, 32(2), 199–226. https://doi.org/10.1177/1098214010389321
^ Bickman, L. (1996). La aplicación de la teoría de programas a la evaluación de un sistema de atención de salud mental gestionado. Evaluación y planificación de programas, 19, 111-119.
^ Hense, J., Kriz, WC y Wolfe, J. (2009). Poner en práctica la evaluación orientada a la teoría: un enfoque de modelo lógico para evaluar SIMGAME. Simulation & Gaming, 40, 110-133.
^ Chen, HT, Weng, JCS y Lin, L.-H. (1997). Evaluación del proceso y los resultados de un programa de reducción de basura en Taiwán. Evaluation Review, 21, 27-42.
^ Mercer, SH, Idler, AM y Bartfai, JM (2014). Evaluación basada en teoría en la investigación de intervenciones en psicología escolar: 2007-2012. School Psychology Review, 43(2), 119-131.
^ Sheridan, SM, Bovaird, JA, Glover, TA, Andrew Garbacz, S., Witte, A. y Kwon, K. (2012). Un ensayo aleatorio que examina los efectos de la consulta conductual conjunta y el papel mediador de la relación entre padres y maestros. School Psychology Review, 41(1), 23–46.
^ Hawkins, RO, Hale, A., Sheeley, W. y Ling, S. (2011). Intervenciones de lectura repetida y de previsualización del vocabulario para mejorar la fluidez y la comprensión de los lectores de secundaria con dificultades. Psicología en las escuelas, 48(1), 59–77.
