La evaluación basada en la teoría es un término general para cualquier enfoque de evaluación de programas que desarrolle una teoría del cambio y la utilice para diseñar, implementar, analizar e interpretar los hallazgos de una evaluación. [1] [2] [3] Más específicamente, una evaluación se basa en la teoría si: [4]
formula una teoría del cambio utilizando alguna combinación de ciencias sociales , experiencia vivida por los beneficiarios y experiencia de los profesionales relacionados con el programa;
desarrolla y prioriza preguntas de evaluación utilizando la teoría;
utiliza la teoría para guiar el diseño y la implementación de la evaluación;
utiliza la teoría para operacionalizar variables contextuales, de proceso y de resultado; y
Proporciona una explicación causal de cómo y por qué se lograron los resultados, incluido si el programa funcionó y/o tuvo consecuencias no deseadas (deseables o perjudiciales) y qué modera los resultados.
Al investigar los mecanismos a través de los cuales se logran los resultados, los enfoques basados en la teoría facilitan el aprendizaje para mejorar los programas y cómo se implementan, y ayudan a que el conocimiento se acumule en programas aparentemente diferentes. [5] [6] Esto contrasta con las evaluaciones de "caja negra" basadas en métodos, que se centran en seguir los pasos de un método (por ejemplo, experimento aleatorio o grupo focal ) y solo evalúan si un programa conduce a los resultados previstos. . [7] Los enfoques basados en teorías también pueden mejorar la validez de las evaluaciones, conduciendo por ejemplo a estimaciones más precisas del impacto en ensayos controlados aleatorios . [8]
Historia
La evaluación basada en teorías surgió en las décadas de 1970 y 1980 en respuesta a las limitaciones de las evaluaciones de "caja negra" basadas en métodos. El término evaluación basada en teoría fue acuñado por Huey T. Chen y Peter H. Rossi . [9] Chen (1990) [10] escribió la primera introducción integral a la realización de evaluaciones basadas en teorías, explicando, por ejemplo, cómo desarrollar una teoría de cambio de programa y los diferentes tipos de diseño. Sus orígenes se remontan [11] a un libro de Carol Weiss (1972) [12] y a un artículo rara vez citado de Carol Taylor Fitz-Gibbon y Lynn Lyons Morris (1975). [13] Sin embargo, "el primer uso publicado de lo que reconoceríamos como teoría de programas" fue en una evaluación de programas de capacitación, realizada por Don Kirkpatrick en 1959. [14]
Funnell y Rogers (2011, págs. 23-24) comentan sobre la nomenclatura confusa del campo, enumerando 22 enfoques, como la evaluación basada en la teoría y la ciencia de la evaluación basada en la teoría de programas, que son equivalentes o se superponen significativamente con la evaluación basada en la teoría. La primera definición de evaluación basada en la teoría , dada por Fitz-Gibbon y Morris (1975), es casi idéntica a la evaluación basada en la teoría : [15]
Una evaluación de un programa basada en la teoría es aquella en la que la selección de las características del programa a evaluar está determinada por una conceptualización explícita del programa en términos de una teoría […] que intenta explicar cómo el programa produce los efectos deseados. La teoría puede ser psicológica […] o psicológica social […] o filosófica […]. La característica esencial es que la teoría señala una relación causal entre un proceso A y un resultado B.
En consecuencia, los términos evaluación impulsada por la teoría y evaluación basada en la teoría se utilizan a menudo indistintamente en la literatura. [16] [17] [18] Sin embargo, la evaluación basada en la teoría a veces se interpreta de manera más estricta en el sentido de evaluaciones cualitativas o basadas en estudios de casos pequeños realizados sin un grupo de comparación, por ejemplo, utilizando el seguimiento de procesos o el análisis comparativo cualitativo . [19] [20]
¿Qué se entiende por "teoría"?
La teoría de la evaluación basada en teorías busca acercarse lo más posible a las causas próximas de un problema social y al lugar de intervención en lugar de, por ejemplo, una "gran" teoría que intenta proporcionar una comprensión global de la sociedad, o una teoría metafísica sobre la naturaleza de la realidad social: [21]
La práctica de la evaluación avanza muy poco al adoptar una u otra de las teorías globales actuales para atacar, digamos, el problema de la delincuencia juvenil, pero ayuda mucho a comprender la estructura de autoridad en las escuelas y los mecanismos de influencia del grupo de pares y la disciplina de los padres. en el diseño y evaluación de un programa que se supone reducirá los problemas disciplinarios en las escuelas. [...L]a perspectiva impulsada por la teoría está más cerca de lo que los econometristas llaman "especificación del modelo" que las teorías más complicadas, abstractas y generales.
También se hace una distinción entre la teoría normativa , que se refiere a lo que se supone que debe hacer un programa y cómo debe implementarse, y la teoría causal , que especifica cómo se piensa que funciona el programa. [22] Puede haber entonces dos formas generales en las que un programa no logra los resultados deseados: (1) un programa puede implementarse según lo previsto según la teoría normativa; sin embargo, la teoría causal es incorrecta; y (2) la teoría causal es correcta; sin embargo, el programa no se implementó correctamente. [23]
Esquema del modelo de acción/modelo de cambio de Chen
El esquema del modelo de acción/modelo de cambio de Chen [24] proporciona un ejemplo de cómo se conceptualizan una teoría de programa y su contexto. Luego se completan los elementos del esquema para cada programa en particular.
Esquema del modelo de acción/modelo de cambio de Chen (2015)
El modelo de cambio especifica cómo una intervención de un programa conduce a resultados a través de determinantes , también conocidos como variables intermedias o mediadoras.
El modelo de acción especifica cómo el personal y las organizaciones de ejecución entregan la intervención a los beneficiarios:
La población objetivo incluye una especificación de quiénes son los participantes y cómo son reclutados.
La organización implementadora (por ejemplo, una clínica o escuela) y su personal de implementadores (por ejemplo, terapeutas o maestros) son responsables de asignar recursos , capacitar y realizar las intervenciones.
Los protocolos de intervención y prestación de servicios incluirían manuales de terapia o planes de estudio temáticos.
Organizaciones asociadas y socios comunitarios se refiere a organizaciones distintas a la organización implementadora. En el caso de una intervención de psicoterapia, esto puede incluir escuelas o médicos generales que publiciten el programa o remitan a los beneficiarios al mismo.
El contexto ecológico se refiere a aspectos del medio ambiente, por ejemplo, familia, amigos, compañeros de trabajo, otros estudiantes, etc., que pueden moderar los efectos de un programa.
Métodos basados en la teoría
Se ha argumentado que se puede aplicar toda la gama de métodos de investigación. Por ejemplo, Chen (2015) proporciona ejemplos que utilizan experimentos aleatorios , diseños cuasiexperimentales , seguimiento de procesos y resultados , y métodos cualitativos . [25] Aunque los defensores de la evaluación basada en la teoría son críticos con los experimentos de "caja negra", Chen y Rossi (1983, p. 292) [26] sostienen que los experimentos basados en la teoría son posibles y deseables:
Los defensores del paradigma experimental de caja negra a menudo ignoran el hecho de que después de la aleatorización las variables exógenas todavía están correlacionadas con las variables de resultado. Saber cómo estos factores exógenos afectan los resultados permite construir estimaciones más precisas de los efectos experimentales controlando dichas variables exógenas.
Se ha argumentado que la evaluación basada en la teoría se centra demasiado en enfoques estadísticos, como experimentos aleatorios, cuasiexperimentos y modelos de ecuaciones estructurales ; [27] sin embargo, también se ha defendido la importancia de los métodos cualitativos, particularmente cuando se desarrollan teorías de programas y se comprende la implementación. [28]
También existe un debate metodológico sobre si las evaluaciones realistas , consideradas un tipo particular de enfoque basado en la teoría, pueden incluir ensayos controlados aleatorios en cualquier forma. Algunos evaluadores creen que sí y llevan a cabo lo que llaman "ensayos realistas". [29] [30] [31] Otros argumentan que un ensayo realista es un "oxímoron" y recomiendan llamarlos "ensayos orientados a la teoría". [32] Una revisión de 2023 de supuestos ensayos realistas concluyó que si son realmente realistas depende de los compromisos "ontológicos y epistemológicos" de los evaluadores y que las diferencias "no se pueden resolver" revisando los estudios realizados. [33]
Ejemplos
Los ejemplos analizados en una revisión sistemática de 2011 de 45 evaluaciones basadas en teoría incluyen: [34]
Una evaluación de la Demostración de Salud Mental de Niños y Adolescentes de Fort Bragg, un sistema administrado de atención de salud mental con un único punto de entrada, que utilizó entrevistas individuales, grupos focales y revisión de documentos para ayudar al desarrollo de una teoría de cambio. [35] La teoría articuló por qué se pensaba que un sistema de atención integrado sería más rentable que un sistema fragmentado.
Una evaluación de un juego de mesa creado para ayudar a enseñar educación empresarial en secundaria. [36] Esta evaluación desarrolló una teoría del cambio y la utilizó para seleccionar medidas y diseñar análisis de regresión de procesos y resultados.
Una evaluación de un programa de reducción de basura. [37] El programa intentó alentar a los residentes a reducir el volumen de basura que producen reduciendo la frecuencia de recolección; sin embargo, una consecuencia negativa no deseada identificada por la evaluación fue que los residentes produjeron el mismo volumen que antes, simplemente almacenando su basura en sus hogares en los días en que no se recolectaba. Este efecto se identificó mediante un análisis comparativo de series de tiempo interrumpido con media móvil integrada autorregresiva (ARIMA) .
Una revisión de 2014 sobre la evaluación basada en la teoría en psicología escolar [38] destacó dos ejemplos ilustrativos:
Una evaluación de la consulta conductual conjunta, una "intervención basada en fortalezas centrada en desarrollar la competencia social y conductual en los niños". [39] La evaluación puso a prueba una teoría del cambio mediante un ensayo controlado aleatorio por grupos y un análisis de mediación .
^ Chen, H.-T. y Rossi, PH (1980). El enfoque de evaluación basado en teoría y con objetivos múltiples: un modelo que vincula las ciencias sociales básicas y aplicadas. Fuerzas sociales, 59, 106-122.
^ Coryn, CLS, Noakes, LA, Westine, CD y Schröter, DC (2011, p. 201). Una revisión sistemática de la práctica de evaluación basada en la teoría de 1990 a 2009. American Journal of Assessment, 32(2), 199–226.
^ Donaldson, SI (2022, pág.9). Introducción a la evaluación de programas basada en la teoría (2ª ed.). Rutledge.
^ Coryn, CLS, Noakes, LA, Westine, CD y Schröter, DC (2011, págs. 203-205). Una revisión sistemática de la práctica de evaluación basada en la teoría de 1990 a 2009. American Journal of Assessment, 32(2), 199–226.
^ Chen, HT (2012). Evaluación basada en la teoría: marco conceptual, aplicación y avance. En R. Strobl, O. Lobermeier y W. Heitmeyer (Eds.), Evaluación von Programmen und Projekten für eine demokratische Kultur (págs. 17-40). Springer Fachmedien Wiesbaden. https://doi.org/10.1007/978-3-531-19009-9_2
^ Weiss, CH (1995). Nada tan práctico como una buena teoría: exploración de la evaluación basada en la teoría para iniciativas comunitarias integrales para niños y familias. En JP Connell, AC Kublsch, LB Schorr y CH Weiss (Eds.), Nuevos enfoques para evaluar iniciativas comunitarias: conceptos, métodos y contextos (número 7, págs. 65–92). El Instituto Aspen.
^ Chen, H.-T. y Rossi, PH (1980). El enfoque de evaluación basado en teoría y con objetivos múltiples: un modelo que vincula las ciencias sociales básicas y aplicadas. Fuerzas sociales, 59, 106-122.
^ Chen, H.-T. y Rossi, PH (1983). Evaluar con sentido: el enfoque basado en la teoría. Revisión de la evaluación, 7(3), 283–302.
^ Chen, H.-T. y Rossi, PH (1980). El enfoque de evaluación basado en teoría y con objetivos múltiples: un modelo que vincula las ciencias sociales básicas y aplicadas. Fuerzas sociales, 59, 106-122.
^ Worthen, BR (1996). Nota del editor: Los orígenes de la evaluación basada en la teoría. Práctica de evaluación, 17 (2), 169–171.
^ Weiss, CH (1972). Investigación de evaluación: métodos para evaluar la efectividad del programa. Englewood Cliffs, Nueva Jersey: Prentice-Hall.
^ Fitz-Gibbon, CT y Morris, LL (1975). Evaluación basada en la teoría. Comentario de evaluación, 5(1), 1–4. Reimpreso en Fitz-Gibbon, CT y Morris, LL (1996). Evaluación basada en la teoría. Práctica de evaluación, 17 (2), 177–184.
^ Ver pág. 16, Funnell, SC, Rogers, PJ (2011). Teoría del programa con propósito: uso eficaz de teorías de cambio y modelos lógicos . Jossey-Bass.
^ Fitz-Gibbon, CT y Morris, LL (1975, pág. 1).
^ Birckmayer, JD y Weiss, CH (2000). Evaluación basada en la teoría en la práctica: ¿qué aprendemos? Revisión de evaluación, 24(4), 407-431.
^ Matta, Corrado; Lindvall, Jannika; Ryve, Andreas (2024). "Las recompensas mecanicistas de la integración de teoría y datos para la evaluación basada en teoría". Revista americana de evaluación . 45 (1): 110-132. doi :10.1177/10982140221122764.
^ Dahler-Larsen, P. (2018, p. 9). La evaluación basada en la teoría se encuentra con la ambigüedad: el papel de las variables de Janus. Revista estadounidense de evaluación, 39(1), 6–23.
^ Stern, E., Stame, N., Mayne, J., Forss, K., Davies, R. y Befani, B. (2012). Ampliar la gama de diseños y métodos para las evaluaciones de impacto. Instituto de Estudios del Desarrollo.
^ Hacienda de HM (2020). El libro magenta.
^ Chen, H.-T. y Rossi, PH (1983). Evaluar con sentido: el enfoque basado en la teoría. Revisión de la evaluación, 7(3), 283–302.
^ Chen, HT (1989). El marco conceptual de la perspectiva impulsada por la teoría. Evaluación y planificación de programas, 12(4), 391-396.
^ Weiss, CH (1972, pág. 38). Investigación de evaluación: métodos para evaluar la efectividad del programa. Englewood Cliffs, Nueva Jersey: Prentice-Hall.
^ Chen, HT (2015, capítulo 3). Evaluación práctica de programas: evaluación basada en la teoría y perspectiva de evaluación integrada. Publicaciones SAGE Ltd.
^ Chen, HT (2015). Evaluación práctica de programas: evaluación basada en la teoría y la perspectiva de la evaluación integrada (2ª edición). Publicaciones sabias.
^ Chen, H.-T. y Rossi, PH (1983). Evaluar con sentido: el enfoque basado en la teoría. Revisión de la evaluación, 7(3), 283–302.
^ Smith, NL (1994). Aclarar y ampliar la aplicación de evaluaciones basadas en la teoría de programas. Práctica de evaluación, 15 (1), 83–87.
^ Chen, HT (1994). Evaluaciones basadas en teorías: necesidades, dificultades y opciones. Revista estadounidense de evaluación, 15(1), 79–82. https://doi.org/10.1177/109821409401500109
^ Martin P y Tannenbaum C (2017) Una evaluación realista de las decisiones de los pacientes de deprescribir en el ensayo EMPOWER. BMJ Abierto 7 (4): e015959.
^ Bonell C, Fletcher A, Morton M, et al. (2012) Ensayos controlados aleatorios realistas: un nuevo enfoque para evaluar intervenciones complejas de salud pública. Ciencias sociales y medicina 75(12): 2299–306.
^ Bonell, C., Meléndez-Torres, GJ y Warren, E. (2024). Ensayos realistas y revisiones sistemáticas: evidencia rigurosa y útil para informar las políticas de salud . Cambridge: Prensa de la Universidad de Cambridge.
^ Marchal, B., Westhorp, G., Wong, G., Van Belle, S., Greenhalgh, T., Kegels, G. y Pawson, R. (2013). ECA realistas de intervenciones complejas: un oxímoron. Ciencias sociales y medicina, 94, 124-128.
^ Nielsen, SB, Jaspers, S. Ø. y Lemire, S. (2023). El curioso caso del juicio realista: ¿oxímoron metodológico o unicornio? Evaluación.
^ Coryn, CLS, Noakes, LA, Westine, CD y Schröter, DC (2011). Una revisión sistemática de la práctica de evaluación basada en la teoría de 1990 a 2009. American Journal of Assessment, 32(2), 199–226. https://doi.org/10.1177/1098214010389321
^ Bickman, L. (1996). La aplicación de la teoría del programa a la evaluación de un sistema gestionado de atención de salud mental. Evaluación y planificación de programas, 19, 111-119.
^ Hense, J., Kriz, WC y Wolfe, J. (2009). Poner en práctica la evaluación orientada a la teoría: un enfoque de modelo lógico para evaluar SIMGAME. Simulación y juegos, 40, 110-133.
^ Chen, HT, Weng, JCS y Lin, L.-H. (1997). Evaluación del proceso y resultado de un programa de reducción de basura en Taiwán. Revisión de evaluación, 21, 27-42.
^ Mercer, SH, Idler, AM y Bartfai, JM (2014). Evaluación basada en la teoría en la investigación de intervenciones en psicología escolar: 2007-2012. Revisión de psicología escolar, 43 (2), 119-131.
^ Sheridan, SM, Bovaird, JA, Glover, TA, Andrew Garbacz, S., Witte, A. y Kwon, K. (2012). Un ensayo aleatorizado que examina los efectos de la consulta conductual conjunta y el papel mediador de la relación entre padres y maestros. Revisión de psicología escolar, 41 (1), 23–46.
^ Hawkins, RO, Hale, A., Sheeley, W. y Ling, S. (2011). Intervenciones repetidas de lectura y anticipación de vocabulario para mejorar la fluidez y la comprensión de los lectores de secundaria con dificultades. Psicología en las escuelas, 48(1), 59–77.
