La evaluación de programas es un método sistemático para recopilar, analizar y utilizar información para responder preguntas sobre proyectos, políticas y programas , [1] particularmente sobre su eficacia y eficiencia .
Tanto en el sector público como en el privado , así como en el sector voluntario , las partes interesadas pueden estar obligadas a evaluar (por ley o estatuto) o querer saber si los programas que están financiando, implementando, votando, recibiendo u oponiéndose están produciendo el efecto prometido. Hasta cierto punto, la evaluación de programas cae dentro del análisis costo-beneficio tradicional , que se refiere a los retornos justos sobre el desembolso de activos económicos y de otro tipo; sin embargo, los resultados sociales pueden ser más complejos de evaluar que los resultados de mercado, y se requiere un conjunto de habilidades diferente. Las consideraciones incluyen cuánto cuesta el programa por participante, el impacto del programa , cómo se podría mejorar el programa, si hay mejores alternativas, si hay consecuencias imprevistas y si los objetivos del programa son apropiados y útiles. [2] Los evaluadores ayudan a responder estas preguntas. La mejor práctica es que la evaluación sea un proyecto conjunto entre evaluadores y partes interesadas. [3]
A los evaluadores de programas se les aplica una amplia gama de títulos diferentes, quizás a veces de manera aleatoria, pero hay algunos usos establecidos: aquellos que usan regularmente habilidades y técnicas de evaluación de programas en el trabajo se conocen como analistas de programas ; aquellos cuyos puestos combinan deberes de asistente administrativo o secretario con la evaluación de programas se conocen como asistentes de programas, empleados de programas (Reino Unido), especialistas en apoyo de programas o asociados de programas; aquellos cuyos puestos agregan deberes de gestión de proyectos de nivel inferior se conocen como coordinadores de programas.
Se considera que el proceso de evaluación es un fenómeno relativamente reciente. Sin embargo, se han documentado casos de evaluación social planificada que datan del año 2200 a. C. [4] La evaluación se volvió particularmente relevante en los Estados Unidos en la década de 1960 durante el período de los programas sociales de la Gran Sociedad asociados con las administraciones de Kennedy y Johnson . [5] [6] Se invirtieron sumas extraordinarias en programas sociales, pero los impactos de estas inversiones fueron en gran medida desconocidos. [ cita requerida ]
Las evaluaciones de programas pueden implicar métodos tanto cuantitativos como cualitativos de investigación social . Las personas que realizan evaluaciones de programas provienen de diferentes ámbitos, como la sociología , la psicología , la economía , el trabajo social , así como de subcampos de la ciencia política como las políticas públicas y la administración pública , que han estudiado una metodología similar conocida como análisis de políticas . Algunas universidades también tienen programas de formación específicos, especialmente a nivel de posgrado en evaluación de programas, para aquellos que estudiaron un área temática de pregrado que carece de habilidades de evaluación de programas. [7]
La evaluación de un programa puede realizarse en varias etapas durante su vida útil. Cada una de estas etapas plantea diferentes preguntas que el evaluador debe responder, y en consecuencia se necesitan diferentes enfoques de evaluación. Rossi, Lipsey y Freeman (2004) sugieren los siguientes tipos de evaluación, que pueden ser apropiados en estas diferentes etapas:
En la evaluación de necesidades se examina la población a la que se dirige el programa para ver si la necesidad tal como se conceptualiza en el programa existe realmente en la población; si es, de hecho, un problema; y, de ser así, cuál es la mejor manera de abordarlo. Esto incluye identificar y diagnosticar el problema real que el programa está tratando de abordar, quién o qué se ve afectado por el problema, cuán extendido está el problema y cuáles son los efectos mensurables que causa. Por ejemplo, para un programa de vivienda destinado a mitigar la falta de vivienda, un evaluador del programa puede querer averiguar cuántas personas están sin hogar en una zona geográfica determinada y cuál es su demografía. Rossi, Lipsey y Freeman (2004) advierten contra la realización de una intervención sin evaluar adecuadamente la necesidad de la misma, porque esto podría dar lugar a una gran cantidad de fondos desperdiciados si la necesidad no existía o se concibió incorrectamente.
La evaluación de necesidades implica los procesos o métodos utilizados por los evaluadores para describir y diagnosticar las necesidades sociales [8]. Esto es esencial para los evaluadores porque necesitan determinar si los programas son eficaces y no pueden hacerlo a menos que hayan identificado cuál es el problema o la necesidad. Los programas que no realizan una evaluación de necesidades pueden tener la ilusión de que han erradicado el problema o la necesidad cuando, de hecho, no existía ninguna necesidad en primer lugar. La evaluación de necesidades implica investigación y consulta regular con las partes interesadas de la comunidad y con las personas que se beneficiarán del proyecto antes de que el programa pueda desarrollarse e implementarse. Por lo tanto, debe ser un enfoque de abajo hacia arriba. De esta manera, los problemas potenciales pueden detectarse temprano porque el proceso habrá involucrado a la comunidad en la identificación de la necesidad y, por lo tanto, habrá permitido la oportunidad de identificar posibles barreras.
La tarea importante de un evaluador de programas es, por lo tanto, la siguiente: primero, construir una definición precisa de cuál es el problema. [8] Los evaluadores deben primero identificar el problema o la necesidad. Esto se hace de manera más eficaz si se incluye de manera colaborativa a todas las partes interesadas posibles, es decir, la comunidad afectada por el problema potencial, los agentes o actores que trabajan para abordar y resolver el problema, los financiadores, etc. Incluir la aceptación desde el principio del proceso reduce la posibilidad de resistencia, falta de comunicación e información incompleta más adelante.
En segundo lugar, evaluar la magnitud del problema. [8] Una vez identificado claramente cuál es el problema, los evaluadores deben evaluar su magnitud. Deben responder a las preguntas "dónde" y "cuán grande es". Los evaluadores deben determinar dónde se encuentra el problema y qué tan grande es. Señalar que existe un problema es mucho más fácil que tener que especificar dónde se encuentra y cuán extendido está. Rossi, Lipsey y Freeman (2004) dieron un ejemplo: una persona que identifica a algunos niños maltratados puede ser evidencia suficiente para persuadir a uno de que el abuso infantil existe. Pero indicar a cuántos niños afecta y dónde se ubica geográfica y socialmente requeriría conocimiento sobre los niños maltratados, las características de los perpetradores y el impacto del problema en toda la autoridad política en cuestión.
Esto puede resultar difícil si se tiene en cuenta que el abuso infantil no es una conducta pública, y que, por lo general, no es posible calcular las tasas de conducta privada debido a factores como los casos no denunciados. En este caso, los evaluadores tendrían que utilizar datos de varias fuentes y aplicar diferentes enfoques para calcular las tasas de incidencia. Hay dos preguntas más que deben responderse: [9] Los evaluadores también deben responder las preguntas "cómo" y "qué" [9] La pregunta "cómo" requiere que los evaluadores determinen cómo se abordará la necesidad. Una vez identificada la necesidad y familiarizados con la comunidad, los evaluadores deben realizar un análisis del desempeño para identificar si el plan propuesto en el programa realmente podrá eliminar la necesidad. La pregunta "qué" requiere que los evaluadores realicen un análisis de tareas para averiguar cuál sería la mejor manera de actuar. Por ejemplo, si los estándares de desempeño laboral los establece una organización o si es necesario considerar algunas reglas gubernamentales al realizar la tarea. [9]
En tercer lugar, definir e identificar el objetivo de las intervenciones y describir con precisión la naturaleza de las necesidades de servicios de esa población [8]. Es importante saber qué/quiénes son la población objetivo: pueden ser individuos, grupos, comunidades, etc. Hay tres unidades de población: población en riesgo, población necesitada y población en demanda [8].
Poder especificar qué/quién es el objetivo ayudará a establecer límites apropiados, de modo que las intervenciones puedan abordar correctamente a la población objetivo y sean factibles de aplicar. [8]
Hay cuatro pasos para realizar una evaluación de necesidades: [10]
Por lo tanto, el análisis de necesidades es un paso muy importante en la evaluación de los programas porque no se puede evaluar la eficacia de un programa a menos que sepamos cuál fue el problema en primer lugar.
La teoría del programa, también llamada modelo lógico , mapa de conocimiento [11] o vía de impacto [12] , es una suposición implícita en la forma en que se diseña el programa, sobre cómo se supone que las acciones del programa lograrán los resultados que pretende. Este "modelo lógico" a menudo no es enunciado explícitamente por las personas que dirigen los programas, simplemente se da por sentado, por lo que un evaluador tendrá que obtener del personal del programa exactamente cómo se supone que el programa logrará sus objetivos y evaluar si esta lógica es plausible. Por ejemplo, en un programa de prevención del VIH, se puede suponer que educar a las personas sobre la transmisión del VIH/SIDA, los riesgos y las prácticas sexuales seguras dará como resultado que se practiquen relaciones sexuales más seguras. Sin embargo, la investigación en Sudáfrica muestra cada vez más que, a pesar de una mayor educación y conocimiento, las personas aún a menudo no practican relaciones sexuales seguras [13] . Por lo tanto, la lógica de un programa que se basa en la educación como medio para lograr que las personas usen condones puede ser defectuosa. Por eso es importante leer las investigaciones que se han realizado en el área. Explicar esta lógica también puede revelar consecuencias no deseadas o imprevistas de un programa, tanto positivas como negativas. La teoría del programa impulsa las hipótesis para poner a prueba la evaluación de impacto. Desarrollar un modelo lógico también puede generar un entendimiento común entre el personal del programa y las partes interesadas sobre lo que se supone que el programa debe hacer realmente y cómo se supone que debe hacerlo, algo que a menudo falta (véase Análisis participativo de las vías de impacto ). Por supuesto, también es posible que durante el proceso de intentar obtener el modelo lógico detrás de un programa, los evaluadores descubran que dicho modelo está desarrollado de forma incompleta, es internamente contradictorio o (en los peores casos) es esencialmente inexistente. Esto limita decididamente la eficacia de la evaluación, aunque no necesariamente reduce o elimina el programa. [14]
La creación de un modelo lógico es una forma excelente de ayudar a visualizar aspectos importantes de los programas, especialmente cuando se prepara una evaluación. Un evaluador debe crear un modelo lógico con aportes de diferentes partes interesadas. Los modelos lógicos tienen cinco componentes principales: recursos o insumos, actividades, resultados, resultados a corto plazo y resultados a largo plazo [15]. La creación de un modelo lógico ayuda a articular el problema, los recursos y la capacidad que se están utilizando actualmente para abordar el problema y los resultados mensurables del programa. Observar los diferentes componentes de un programa en relación con los objetivos generales a corto y largo plazo permite arrojar luz sobre posibles desajustes. La creación de un modelo lógico real es particularmente importante porque ayuda a aclarar a todas las partes interesadas: la definición del problema, los objetivos generales y la capacidad y los resultados del programa. [15]
Rossi, Lipsey y Freeman (2004) sugieren cuatro enfoques y procedimientos que pueden utilizarse para evaluar la teoría del programa. [8] Estos enfoques se analizan a continuación.
Esto implica evaluar la teoría del programa relacionándola con las necesidades de la población destinataria a la que se pretende atender. Si la teoría del programa no logra abordar las necesidades de la población destinataria, se tornará ineficaz incluso si se implementa correctamente. [8]
Esta forma de evaluación implica pedirle a un panel de revisores expertos que revisen críticamente la lógica y la plausibilidad de los supuestos y expectativas inherentes al diseño del programa. [8] El proceso de revisión no está estructurado y es abierto para abordar ciertas cuestiones sobre el diseño del programa. Rutman (1980), Smith (1989) y Wholly (1994) sugirieron las preguntas que se enumeran a continuación para ayudar con el proceso de revisión. [8]
Esta forma de evaluación requiere obtener información de la literatura de investigación y de las prácticas existentes para evaluar los distintos componentes de la teoría del programa. El evaluador puede evaluar si la teoría del programa es congruente con la evidencia de la investigación y las experiencias prácticas de programas con conceptos similares. [8]
Este enfoque implica la incorporación de observaciones de primera mano en el proceso de evaluación, ya que proporciona una verificación de la realidad sobre la concordancia entre la teoría del programa y el programa en sí. [8] Las observaciones pueden centrarse en la posibilidad de alcanzar los resultados, las circunstancias de la población objetivo y la plausibilidad de las actividades del programa y los recursos de apoyo. [8]
Se pueden realizar estas diferentes formas de evaluación de la teoría del programa para garantizar que la teoría del programa sea sólida.
Wright y Wallis (2019) describieron una técnica adicional para evaluar una teoría de programas en función de la estructura de la teoría . Este enfoque, conocido como análisis proposicional integrador (API), se basa en corrientes de investigación que encontraron que las teorías tenían más probabilidades de funcionar como se esperaba cuando tenían una mejor estructura (además de significado y datos). El API implica, primero, identificar las proposiciones (enunciados de causa y efecto) y crear un diagrama visual de esas proposiciones. Luego, el investigador examina la cantidad de conceptos y las relaciones causales entre ellos (círculos y flechas en el diagrama) para medir la amplitud y profundidad de la comprensión reflejada en la estructura de la teoría. La medida de la amplitud es la cantidad de conceptos. Esto se basa en la idea de que los programas del mundo real involucran muchas partes interconectadas, por lo tanto, una teoría que muestra una mayor cantidad de conceptos muestra una mayor amplitud de comprensión del programa. La profundidad es el porcentaje de conceptos que son el resultado de más de un concepto. Esto se basa en la idea de que, en los programas del mundo real, las cosas tienen más de una causa. Por lo tanto, un concepto que es el resultado de más de un concepto en la teoría muestra una mejor comprensión de ese concepto; una teoría con un mayor porcentaje de conceptos mejor comprendidos muestra una mayor profundidad de comprensión del programa.
El análisis de procesos va más allá de la teoría de lo que se supone que debe hacer el programa y evalúa en cambio cómo se está implementando. Esta evaluación determina si se están implementando los componentes identificados como críticos para el éxito del programa. La evaluación determina si se está llegando a las poblaciones destinatarias, si las personas están recibiendo los servicios previstos y si el personal está adecuadamente calificado. La evaluación de procesos es un proceso continuo en el que se pueden utilizar medidas repetidas para evaluar si el programa se está implementando de manera efectiva. Este problema es particularmente crítico porque muchas innovaciones, en particular en áreas como la educación y la política pública, consisten en cadenas de acción bastante complejas. Por ejemplo, la evaluación de procesos se puede utilizar en la investigación de salud pública. [16] Muchos de estos elementos dependen de la correcta implementación previa de otros elementos y fallarán si la implementación previa no se hizo correctamente. Esto fue demostrado de manera concluyente por Gene V. Glass y muchos otros durante la década de 1980. Dado que la implementación incorrecta o ineficaz producirá el mismo tipo de resultados neutrales o negativos que se producirían por la implementación correcta de una innovación deficiente, es esencial que la investigación de evaluación evalúe el proceso de implementación en sí. [17] De lo contrario, una buena idea innovadora puede ser caracterizada erróneamente como ineficaz, cuando en realidad simplemente nunca se implementó tal como fue diseñada.
La evaluación de impacto determina los efectos causales del programa. Esto implica tratar de medir si el programa ha logrado los resultados previstos, es decir, los resultados del programa.
Un resultado es el estado de la población destinataria o las condiciones sociales que se espera que un programa haya modificado. [8] Los resultados del programa son las características observadas de la población destinataria o las condiciones sociales, no del programa. Por lo tanto, el concepto de resultado no significa necesariamente que los objetivos del programa hayan cambiado realmente o que el programa haya provocado algún cambio en ellos. [8]
Hay dos tipos de resultados, a saber, el nivel de resultado y el cambio de resultado, también asociados con el efecto del programa. [8]
La medición de resultados consiste en representar las circunstancias definidas como resultado mediante indicadores observables que varían sistemáticamente con los cambios o las diferencias en esas circunstancias. [8] La medición de resultados es una forma sistemática de evaluar hasta qué punto un programa ha logrado los resultados previstos. [18] Según Mouton (2009), medir el impacto de un programa significa demostrar o estimar el efecto emergente y próximo diferenciado acumulado, algunos de los cuales pueden ser no deseados y, por lo tanto, imprevistos. [19]
La medición de resultados sirve para entender si el programa es eficaz o no. Además, ayuda a entender mejor el programa. Pero la razón más importante para emprender el esfuerzo es entender los impactos del trabajo en las personas a las que se presta servicio. [19] Con la información recopilada, se puede determinar qué actividades se deben continuar y desarrollar, y cuáles deben modificarse para mejorar la eficacia del programa.
Esto puede implicar el uso de técnicas estadísticas sofisticadas para medir el efecto del programa y encontrar una relación causal entre el programa y los diversos resultados.
Por último, el análisis costo-beneficio o costo-eficiencia evalúa la eficiencia de un programa. Los evaluadores describen los beneficios y el costo del programa para compararlos. Un programa eficiente tiene una relación costo-beneficio menor. Existen dos tipos de eficiencia, a saber, la estática y la dinámica. Mientras que la eficiencia estática se refiere a la consecución de los objetivos con el menor costo, la eficiencia dinámica se refiere a la mejora continua. [20]
Tal vez la parte más difícil de la evaluación sea determinar si el programa en sí mismo está provocando los cambios que se observan en la población a la que está dirigido. Los acontecimientos o procesos externos al programa pueden ser la causa real del resultado observado (o la verdadera prevención del resultado previsto).
La causalidad es difícil de determinar. Una de las principales razones de ello es el sesgo de autoselección . [21] Las personas se eligen a sí mismas para participar en un programa. Por ejemplo, en un programa de capacitación laboral, algunas personas deciden participar y otras no. Las que participan pueden diferir de las que no lo hacen en aspectos importantes. Pueden estar más decididas a encontrar un trabajo o disponer de mejores recursos de apoyo. Estas características pueden estar causando el resultado observado de un aumento del empleo, no el programa de capacitación laboral.
Las evaluaciones realizadas con asignación aleatoria permiten realizar inferencias más sólidas sobre la causalidad. Asignar aleatoriamente a las personas para que participen o no en el programa reduce o elimina el sesgo de autoselección . Por lo tanto, el grupo de personas que participan probablemente sería más comparable con el grupo que no participó.
Sin embargo, como la mayoría de los programas no pueden utilizar la asignación aleatoria, no se puede determinar la causalidad. El análisis de impacto aún puede proporcionar información útil. Por ejemplo, se pueden describir los resultados del programa. De este modo, la evaluación puede indicar que las personas que participaron en el programa tenían más probabilidades de experimentar un resultado determinado que las personas que no participaron.
Si el programa es bastante grande y hay suficientes datos, se puede utilizar el análisis estadístico para defender razonablemente el programa mostrando, por ejemplo, que es poco probable que haya otras causas.
Es importante garantizar que los instrumentos (por ejemplo, pruebas, cuestionarios, etc.) utilizados en la evaluación de programas sean lo más fiables, válidos y sensibles posibles. Según Rossi et al. (2004, pág. 222), [8] "una medida mal elegida o mal concebida puede socavar por completo el valor de una evaluación de impacto al producir estimaciones engañosas. Sólo si las medidas de resultados son válidas, fiables y adecuadamente sensibles pueden considerarse creíbles las evaluaciones de impacto".
La fiabilidad de un instrumento de medición es el «grado en que la medida produce los mismos resultados cuando se utiliza repetidamente para medir lo mismo» (Rossi et al., 2004, pág. 218). [8] Cuanto más fiable sea una medida, mayor será su poder estadístico y más creíbles sus hallazgos. Si un instrumento de medición no es fiable, puede diluir y oscurecer los efectos reales de un programa, y el programa «parecerá menos eficaz de lo que es en realidad» (Rossi et al., 2004, pág. 219). [8] Por lo tanto, es importante garantizar que la evaluación sea lo más fiable posible.
La validez de un instrumento de medición es "el grado en que mide lo que pretende medir" (Rossi et al., 2004, p. 219). [8] Este concepto puede ser difícil de medir con precisión: en el uso general en evaluaciones, un instrumento puede considerarse válido si es aceptado como válido por las partes interesadas (las partes interesadas pueden incluir, por ejemplo, financiadores, administradores de programas, etcétera).
El objetivo principal del proceso de evaluación es medir si el programa tiene un efecto sobre el problema social que pretende solucionar; por lo tanto, el instrumento de medición debe ser lo suficientemente sensible como para discernir estos cambios potenciales (Rossi et al., 2004). [8] Un instrumento de medición puede ser insensible si contiene elementos que miden resultados que el programa no podría lograr, o si el instrumento fue desarrollado originalmente para aplicaciones a individuos (por ejemplo, medidas psicológicas estandarizadas) en lugar de un entorno grupal (Rossi et al., 2004). [8] Estos factores pueden generar "ruido" que puede oscurecer cualquier efecto que el programa pueda haber tenido.
Sólo las medidas que alcanzan adecuadamente los parámetros de fiabilidad, validez y sensibilidad pueden considerarse evaluaciones creíbles. Es deber de los evaluadores elaborar evaluaciones creíbles, ya que sus conclusiones pueden tener efectos de largo alcance. Una evaluación desacreditable que no pueda demostrar que un programa está logrando su propósito cuando en realidad está creando un cambio positivo puede hacer que el programa pierda su financiación inmerecidamente. [ ¿Síntesis incorrecta? ]
El Centro para el Control y Prevención de Enfermedades (CDC) delinea seis pasos para una evaluación completa del programa. Los pasos descritos son: involucrar a las partes interesadas, describir el programa, enfocar el diseño de la evaluación, reunir evidencia creíble, justificar las conclusiones y garantizar el uso y compartir las lecciones aprendidas. [22] Estos pasos pueden suceder en un marco cíclico para representar el proceso continuo de evaluación.
Aunque los procesos de evaluación de programas mencionados aquí son apropiados para la mayoría de los programas, las iniciativas no lineales altamente complejas, como las que utilizan el modelo de impacto colectivo (IC), requieren un enfoque dinámico para la evaluación. El impacto colectivo es "el compromiso de un grupo de actores importantes de diferentes sectores con una agenda común para resolver un problema social específico" [23] y generalmente implica tres etapas, cada una con un enfoque de evaluación recomendado diferente:
Enfoque de evaluación recomendado: Evaluación de desarrollo para ayudar a los socios de IC a comprender el contexto de la iniciativa y su desarrollo: [24] "La evaluación de desarrollo implica retroalimentación en tiempo real sobre lo que está surgiendo en sistemas dinámicos complejos a medida que los innovadores buscan generar cambios en los sistemas". [25]
Enfoque de evaluación recomendado: evaluación formativa para refinar y mejorar el progreso, así como evaluación continua del desarrollo para explorar nuevos elementos a medida que surjan. La evaluación formativa implica "un seguimiento cuidadoso de los procesos para responder a las propiedades emergentes y a cualquier resultado inesperado". [26]
Enfoque de evaluación recomendado: La evaluación sumativa “utiliza métodos tanto cuantitativos como cualitativos para lograr una mejor comprensión de lo que [el] proyecto ha logrado y cómo o por qué ha ocurrido esto”. [27]
La planificación de una evaluación de un programa puede dividirse en cuatro partes: centrar la evaluación, recopilar la información, utilizar la información y gestionar la evaluación. [28] La evaluación de un programa implica reflexionar sobre cuestiones relacionadas con el propósito de la evaluación, qué preguntas son necesarias plantear y qué se hará con la información recopilada. Entre las cuestiones fundamentales que se deben tener en cuenta se incluyen las siguientes:
El "enfoque de evaluación de bajo presupuesto" está diseñado para ayudar a los evaluadores que operan con presupuesto limitado, acceso limitado o disponibilidad limitada de datos y tiempo de respuesta limitado, a realizar evaluaciones efectivas que sean metodológicamente rigurosas (Bamberger, Rugh, Church y Fort, 2004). [29] Este enfoque ha respondido a la creciente necesidad continua de procesos de evaluación que sean más rápidos y económicos en circunstancias difíciles de presupuesto, limitaciones de tiempo y disponibilidad limitada de datos. Sin embargo, no siempre es posible diseñar una evaluación para lograr los estándares más altos disponibles. Muchos programas no incorporan un procedimiento de evaluación en su diseño o presupuesto. Por lo tanto, muchos procesos de evaluación no comienzan hasta que el programa ya está en marcha, lo que puede resultar en restricciones de tiempo, presupuesto o datos para los evaluadores, lo que a su vez puede afectar la confiabilidad, validez o sensibilidad de la evaluación. > El enfoque de bajo presupuesto ayuda a garantizar que se logre el máximo rigor metodológico posible bajo estas limitaciones.
Con frecuencia, los programas se enfrentan a restricciones presupuestarias porque la mayoría de los proyectos originales no incluyen un presupuesto para realizar una evaluación (Bamberger et al., 2004). Por lo tanto, esto automáticamente da como resultado que se asignen a las evaluaciones presupuestos más pequeños que son inadecuados para una evaluación rigurosa. Debido a las restricciones presupuestarias, puede resultar difícil aplicar de manera efectiva los instrumentos metodológicos más apropiados. Estas restricciones pueden, en consecuencia, afectar el tiempo disponible para realizar la evaluación (Bamberger et al., 2004). [29] Las restricciones presupuestarias pueden abordarse simplificando el diseño de la evaluación, revisando el tamaño de la muestra, explorando métodos económicos de recolección de datos (como el uso de voluntarios para recolectar datos, acortando las encuestas o utilizando grupos focales e informantes clave) o buscando datos secundarios confiables (Bamberger et al., 2004). [29]
La mayor limitación de tiempo a la que se puede enfrentar un evaluador es cuando se le convoca para realizar una evaluación cuando un proyecto ya está en marcha, si se le da un tiempo limitado para realizar la evaluación en comparación con la duración del estudio, o si no se le da suficiente tiempo para una planificación adecuada. Las limitaciones de tiempo son particularmente problemáticas cuando el evaluador no está familiarizado con el área o el país en el que se sitúa el programa (Bamberger et al., 2004). [29] Las limitaciones de tiempo se pueden abordar mediante los métodos enumerados en las limitaciones presupuestarias, como se mencionó anteriormente, y también mediante una planificación cuidadosa para garantizar una recopilación y un análisis de datos efectivos dentro del espacio de tiempo limitado.
Si la evaluación se inicia en una etapa avanzada del programa, puede que no haya datos de referencia sobre las condiciones del grupo destinatario antes de que comenzara la intervención (Bamberger et al., 2004). [29] Otra posible causa de las limitaciones de los datos es que los datos hayan sido recopilados por el personal del programa y contengan sesgos sistemáticos en la presentación de informes o normas deficientes de mantenimiento de registros y, posteriormente, sean de poca utilidad (Bamberger et al., 2004). [29] Otra fuente de limitaciones de los datos puede ser la dificultad de llegar al grupo destinatario para recopilar datos de él, por ejemplo, personas sin hogar, drogadictos, trabajadores migrantes, etc. (Bamberger et al., 2004). [29] Las limitaciones de los datos se pueden abordar reconstruyendo los datos de referencia a partir de datos secundarios o mediante el uso de métodos múltiples. Los métodos múltiples, como la combinación de datos cualitativos y cuantitativos, pueden aumentar la validez mediante la triangulación y ahorrar tiempo y dinero. Además, estas limitaciones se pueden abordar mediante una planificación cuidadosa y la consulta con las partes interesadas del programa. Al identificar y comprender claramente las necesidades del cliente antes de la evaluación, se pueden simplificar y reducir los costos y el tiempo del proceso de evaluación, manteniendo al mismo tiempo la credibilidad.
En general, las limitaciones de tiempo, dinero y datos pueden tener consecuencias negativas en la validez, fiabilidad y transferibilidad de la evaluación. El enfoque de presupuesto limitado se ha creado para ayudar a los evaluadores a corregir las limitaciones identificadas anteriormente mediante la identificación de formas de reducir los costos y el tiempo, reconstruir los datos de referencia y garantizar la máxima calidad con las limitaciones existentes (Bamberger et al., 2004).
El enfoque de cinco niveles para la evaluación desarrolla aún más las estrategias en las que se basa el enfoque de evaluación de bajo presupuesto. [30] Fue desarrollado originalmente por Jacobs (1988) como una forma alternativa de evaluar programas comunitarios y como tal se aplicó a un programa estatal para niños y familias en Massachusetts, EE. UU. [31] El enfoque de cinco niveles se ofrece como un marco conceptual para hacer coincidir las evaluaciones de manera más precisa con las características de los programas mismos y con los recursos y limitaciones particulares inherentes a cada contexto de evaluación. [30] En otras palabras, el enfoque de cinco niveles busca adaptar la evaluación a las necesidades específicas de cada contexto de evaluación.
Los niveles anteriores (1-3) generan información descriptiva y orientada al proceso, mientras que los niveles posteriores (4-5) determinan los efectos a corto y largo plazo del programa. [32] Los cinco niveles están organizados de la siguiente manera:
Para cada nivel se identifican los objetivos, junto con las tareas correspondientes que permiten alcanzar el objetivo identificado en el nivel. [34] Por ejemplo, el objetivo del primer nivel, la evaluación de necesidades, sería documentar la necesidad de un programa en una comunidad. La tarea para ese nivel sería evaluar las necesidades y los activos de la comunidad trabajando con todas las partes interesadas pertinentes. [34]
Si bien los niveles están estructurados para un uso consecutivo, lo que significa que la información recopilada en los niveles anteriores es necesaria para las tareas de los niveles superiores, se reconoce la naturaleza fluida de la evaluación. [32] Por lo tanto, es posible pasar de los niveles posteriores a los anteriores, o incluso trabajar en dos niveles al mismo tiempo. [34] Sin embargo, es importante que los evaluadores de programas tengan en cuenta que un programa debe evaluarse en el nivel apropiado. [33]
Se dice que el enfoque de cinco niveles es útil para los programas de apoyo familiar que enfatizan el empoderamiento de la comunidad y de los participantes, ya que fomenta un enfoque participativo que involucra a todas las partes interesadas y es a través de este proceso de reflexión que se logra el empoderamiento. [31]
El propósito de esta sección es llamar la atención sobre algunos de los desafíos y dilemas metodológicos a los que potencialmente se enfrentan los evaluadores cuando realizan una evaluación de un programa en un país en desarrollo. En muchos países en desarrollo, los principales patrocinadores de la evaluación son agencias donantes del mundo desarrollado, y estas agencias requieren informes de evaluación regulares para mantener la rendición de cuentas y el control de los recursos, así como para generar evidencia del éxito o el fracaso del programa. [35] Sin embargo, hay muchos obstáculos y desafíos que enfrentan los evaluadores cuando intentan implementar un programa de evaluación que intenta hacer uso de técnicas y sistemas que no están desarrollados dentro del contexto en el que se aplican. [36] Algunas de las cuestiones incluyen diferencias en la cultura, las actitudes, el idioma y el proceso político. [36] [37]
Ebbutt (1998, p. 416) define la cultura como una "constelación de expectativas, valores, normas, reglas, leyes, artefactos, rituales y comportamientos escritos y no escritos que permean una sociedad e influyen en cómo las personas se comportan socialmente". [37] La cultura puede influir en muchas facetas del proceso de evaluación, incluyendo la recopilación de datos, la implementación del programa de evaluación y el análisis y la comprensión de los resultados de la evaluación. [37] En particular, los instrumentos que se utilizan tradicionalmente para recopilar datos, como cuestionarios y entrevistas semiestructuradas, deben ser sensibles a las diferencias culturales, si se desarrollaron originalmente en un contexto cultural diferente. [38] La comprensión y el significado de los constructos que el evaluador está intentando medir pueden no ser compartidos entre el evaluador y la población de muestra y, por lo tanto, la transferencia de conceptos es una noción importante, ya que esto influirá en la calidad de la recopilación de datos realizada por los evaluadores, así como en el análisis y los resultados generados por los datos. [38]
El lenguaje también juega un papel importante en el proceso de evaluación, ya que el lenguaje está estrechamente ligado a la cultura. [38] El lenguaje puede ser una barrera importante para comunicar conceptos a los que el evaluador está tratando de acceder, y a menudo se requiere traducción. [37] Hay una multitud de problemas con la traducción, incluida la pérdida de significado, así como la exageración o mejora del significado por parte de los traductores. [37] Por ejemplo, los términos que son contextualmente específicos pueden no traducirse a otro idioma con el mismo peso o significado. En particular, los instrumentos de recopilación de datos deben tener en cuenta el significado, ya que el tema puede no considerarse sensible en un contexto particular, pero podría resultar sensible en el contexto en el que se lleva a cabo la evaluación. [38] Por lo tanto, los evaluadores deben tener en cuenta dos conceptos importantes al administrar herramientas de recopilación de datos: equivalencia léxica y equivalencia conceptual. [38] La equivalencia léxica plantea la pregunta: ¿cómo se formula una pregunta en dos idiomas utilizando las mismas palabras? Se trata de una tarea difícil de llevar a cabo, y el uso de técnicas como la traducción inversa puede ayudar al evaluador, pero puede que no dé como resultado una transferencia perfecta del significado. [38] Esto nos lleva al siguiente punto, la equivalencia conceptual. No es habitual que los conceptos se transfieran de forma inequívoca de una cultura a otra. [38] Por tanto, los instrumentos de recopilación de datos que no se han sometido a pruebas y pruebas piloto adecuadas pueden arrojar resultados que no sean útiles, ya que los conceptos que se miden con el instrumento pueden haber adquirido un significado diferente y, por tanto, hacer que el instrumento no sea fiable ni válido. [38]
De este modo, se puede observar que los evaluadores deben tener en cuenta los desafíos metodológicos creados por las diferencias culturales y lingüísticas cuando intentan realizar una evaluación de un programa en un país en desarrollo.
Hay tres usos convencionales de los resultados de la evaluación: utilización persuasiva , utilización directa (instrumental) y utilización conceptual .
La utilización persuasiva consiste en utilizar los resultados de una evaluación con el fin de persuadir a una audiencia para que apoye una determinada agenda o se oponga a ella. A menos que el "persuasor" sea la misma persona que llevó a cabo la evaluación, esta forma de utilización no resulta de mucho interés para los evaluadores, ya que a menudo no pueden prever posibles intentos futuros de persuasión. [8]
Los evaluadores suelen adaptar sus evaluaciones para producir resultados que puedan tener una influencia directa en la mejora de la estructura o del proceso de un programa. Por ejemplo, la evaluación de una intervención educativa novedosa puede producir resultados que indiquen que no hay ninguna mejora en las notas de los estudiantes. Esto puede deberse a que la intervención no tiene una base teórica sólida o a que no se lleva a cabo como se pretendía originalmente. Se espera que los resultados de la evaluación hagan que los creadores de la intervención vuelvan a la mesa de diseño para recrear la estructura básica de la intervención o incluso cambien los procesos de implementación. [8]
Pero incluso si los resultados de la evaluación no tienen una influencia directa en la reestructuración de un programa, pueden utilizarse para concienciar a la gente sobre los problemas que el programa intenta abordar. Volviendo al ejemplo de una evaluación de una nueva intervención educativa, los resultados también pueden utilizarse para informar a los educadores y a los estudiantes sobre las diferentes barreras que pueden influir en las dificultades de aprendizaje de los estudiantes. Esta nueva información puede dar lugar a una serie de estudios sobre estas barreras. [8]
Hay cinco condiciones que parecen afectar la utilidad de los resultados de la evaluación, a saber, la relevancia , la comunicación entre los evaluadores y los usuarios de los resultados , el procesamiento de la información por parte de los usuarios , la plausibilidad de los resultados , así como el nivel de participación o defensa de los usuarios . [8]
Citado directamente de Rossi et al. (2004, p. 416): [8]
La elección del evaluador elegido para evaluar el programa puede considerarse tan importante como el proceso de evaluación. Los evaluadores pueden ser internos (personas asociadas con el programa que se va a ejecutar) o externos (personas no asociadas con ninguna parte de la ejecución/implementación del programa). (División de servicios de supervisión, 2004). A continuación se presenta un breve resumen de las ventajas y desventajas de los evaluadores internos y externos adaptado de la División de servicios de supervisión (2004); para una lista más completa de las ventajas y desventajas de los evaluadores internos y externos, véase (División de servicios de supervisión, 2004).
Ventajas
Desventajas
Ventajas
Desventajas
Potter (2006) [39] identifica y describe tres grandes paradigmas dentro de la evaluación de programas. El primero, y probablemente el más común, es el enfoque positivista , en el que la evaluación sólo puede ocurrir cuando hay aspectos "objetivos", observables y mensurables de un programa, que requieren evidencia predominantemente cuantitativa. El enfoque positivista incluye dimensiones de evaluación como la evaluación de necesidades, la evaluación de la teoría del programa, la evaluación del proceso del programa, la evaluación del impacto y la evaluación de la eficiencia (Rossi, Lipsey y Freeman, 2004). [40] Un ejemplo detallado del enfoque positivista es un estudio realizado por el Instituto de Políticas Públicas de California titulado "Evaluación de programas académicos en los colegios comunitarios de California", en el que los evaluadores examinan actividades mensurables (es decir, datos de inscripción) y realizan evaluaciones cuantitativas como el análisis factorial. [41]
El segundo paradigma identificado por Potter (2006) es el de los enfoques interpretativos, en el que se sostiene que es esencial que el evaluador desarrolle una comprensión de la perspectiva, las experiencias y las expectativas de todas las partes interesadas. Esto conduciría a una mejor comprensión de los diversos significados y necesidades de las partes interesadas, lo que es crucial antes de poder emitir juicios sobre el mérito o el valor de un programa. El contacto del evaluador con el programa suele durar un período prolongado y, aunque no existe un método estandarizado, se utilizan comúnmente la observación, las entrevistas y los grupos de discusión. Un informe encargado por el Banco Mundial detalla ocho enfoques en los que se pueden integrar métodos cualitativos y cuantitativos y tal vez producir conocimientos que no se pueden lograr con un solo método. [42]
Potter (2006) también identifica enfoques críticos-emancipadores para la evaluación de programas, que se basan en gran medida en la investigación-acción con fines de transformación social. Este tipo de enfoque es mucho más ideológico y a menudo incluye un mayor grado de activismo social por parte del evaluador. Este enfoque sería apropiado para evaluaciones cualitativas y participativas. Debido a su enfoque crítico sobre las estructuras de poder social y su énfasis en la participación y el empoderamiento, Potter sostiene que este tipo de evaluación puede ser particularmente útil en los países en desarrollo.
A pesar del paradigma que se utiliza en cualquier evaluación de programas, ya sea positivista, interpretativa o crítico-emancipadora, es esencial reconocer que la evaluación se lleva a cabo en contextos sociopolíticos específicos. La evaluación no existe en el vacío y todas las evaluaciones, sean conscientes de ello o no, están influidas por factores sociopolíticos. Es importante reconocer que las evaluaciones y los hallazgos que resultan de este tipo de proceso de evaluación pueden usarse a favor o en contra de agendas ideológicas, sociales y políticas particulares (Weiss, 1999). [43] Esto es especialmente cierto en una época en la que los recursos son limitados y existe competencia entre organizaciones para priorizar ciertos proyectos sobre otros (Louw, 1999). [44]
La evaluación del empoderamiento utiliza conceptos, técnicas y hallazgos de evaluación para fomentar la mejora y la autodeterminación de un programa en particular dirigido a una población objetivo específica o a los participantes del programa. [45] La evaluación del empoderamiento está orientada a lograr que los participantes del programa se involucren en la generación de cambios en los programas a los que están destinados. Uno de los principales objetivos de la evaluación del empoderamiento es incorporar a los participantes del programa en la conducción del proceso de evaluación. Este proceso suele ir seguido de algún tipo de reflexión crítica sobre el programa. En tales casos, un evaluador externo/externo actúa como consultor/entrenador/facilitador de los participantes del programa y busca comprender el programa desde la perspectiva de los participantes. Una vez que se ha obtenido una comprensión clara de la perspectiva de los participantes, se pueden idear los pasos y las estrategias adecuados (con el valioso aporte de los participantes) e implementarlos para alcanzar los resultados deseados.
Según Fetterman (2002) [45] la evaluación del empoderamiento tiene tres pasos;
El primer paso consiste en que los evaluadores pidan a los participantes y al personal del programa que definan la misión del programa. Los evaluadores pueden optar por llevar a cabo este paso reuniendo a dichas partes y pidiéndoles que generen y discutan la misión del programa. La lógica detrás de este enfoque es mostrar a cada parte que puede haber puntos de vista divergentes sobre cuál es realmente la misión del programa.
El segundo paso para hacer un balance consiste en dos tareas importantes. La primera tarea consiste en que los participantes y el personal del programa elaboren una lista de las actividades clave actuales que son cruciales para el funcionamiento del programa. La segunda tarea consiste en calificar las actividades clave identificadas, lo que también se conoce como priorización . Por ejemplo, se puede pedir a cada miembro del grupo que califique cada actividad clave en una escala del 1 al 10, donde 10 es la más importante y 1 la menos importante. El papel del evaluador durante esta tarea es facilitar el debate interactivo entre los miembros en un intento de establecer una base de significado y comprensión compartidos en relación con las actividades clave. Además, se puede incluir en el debate la documentación pertinente (como informes financieros e información sobre el plan de estudios) al considerar algunas de las actividades clave.
Después de priorizar las actividades clave, el siguiente paso es planificar el futuro. En este punto, el evaluador pregunta a los participantes y al personal del programa cómo les gustaría mejorar el programa en relación con las actividades clave enumeradas. El objetivo es crear un hilo conductor de coherencia mediante el cual la misión generada (paso 1) guíe el balance (paso 2) que forma la base para los planes para el futuro (paso 3). De este modo, en la planificación para el futuro, los objetivos específicos se alinean con las actividades clave pertinentes. Además de esto, también es importante que los participantes y el personal del programa identifiquen posibles formas de evidencia (indicadores mensurables) que se puedan utilizar para monitorear el progreso hacia objetivos específicos. Los objetivos deben estar relacionados con las actividades, los talentos, los recursos y el alcance de la capacidad del programa; en resumen, los objetivos formulados deben ser realistas.
Estos tres pasos de la evaluación del empoderamiento generan la posibilidad de que un programa funcione de manera más eficaz y esté más en contacto con las necesidades de la población destinataria. La evaluación del empoderamiento, como proceso facilitado por un evaluador experto, equipa y empodera a los participantes al brindarles una "nueva" forma de pensar y reflexionar críticamente sobre los programas. Además, empodera a los participantes y al personal del programa para que reconozcan su propia capacidad de generar cambios en el programa mediante la acción colectiva. [46]
El paradigma transformador es fundamental para incorporar la justicia social en la evaluación. Donna Mertens, investigadora principal en este campo, afirma que el paradigma transformador "se centra principalmente en los puntos de vista de los grupos marginados y en interrogar las estructuras de poder sistémicas a través de métodos mixtos para promover la justicia social y los derechos humanos". [47] El paradigma transformador surgió después de que los grupos marginados, que históricamente han sido dejados de lado en la evaluación, comenzaron a colaborar con los académicos para defender la justicia social y los derechos humanos en la evaluación. El paradigma transformador introduce muchos paradigmas y perspectivas diferentes en el proceso de evaluación, lo que lo lleva a cuestionarlo continuamente.
Tanto la Asociación Estadounidense de Evaluación como la Asociación Nacional de Trabajadores Sociales llaman la atención sobre el deber ético de poseer competencia cultural al realizar evaluaciones. La competencia cultural en la evaluación puede definirse en términos generales como una indagación sistémica y de respuesta que es activamente consciente, comprensiva y apreciativa del contexto cultural en el que se lleva a cabo la evaluación; que enmarca y articula la epistemología del esfuerzo de evaluación; que emplea una metodología cultural y contextualmente apropiada; y que utiliza medios interpretativos generados por las partes interesadas para llegar a los resultados y un mayor uso de los hallazgos. [48] Muchos líderes de la salud y la evaluación son cuidadosos al señalar que la competencia cultural no se puede determinar con una simple lista de verificación, sino que es un atributo que se desarrolla con el tiempo. La raíz de la competencia cultural en la evaluación es un respeto genuino por las comunidades que se estudian y la apertura para buscar profundidad en la comprensión de diferentes contextos culturales, prácticas y paradigmas de pensamiento. Esto incluye ser creativo y flexible para capturar diferentes contextos culturales y una mayor conciencia de las diferencias de poder que existen en un contexto de evaluación. Entre las habilidades importantes se incluyen: la capacidad de construir relaciones a pesar de las diferencias, ganarse la confianza de los miembros de la comunidad y reflexionar sobre uno mismo y reconocer los propios prejuicios. [49]
Los paradigmas axiología , ontología , epistemología y metodología reflejan la práctica de la justicia social en la evaluación. Estos ejemplos se centran en abordar las desigualdades e injusticias en la sociedad mediante la promoción de la inclusión y la igualdad en materia de derechos humanos.
El presupuesto axiológico del paradigma transformador se basa en cuatro principios primarios: [47]
Las diferencias en las perspectivas sobre lo que es real están determinadas por diversos valores y experiencias de vida. A su vez, estos valores y experiencias de vida suelen estar asociados con diferencias en el acceso a privilegios, basadas en características tales como discapacidad, género, identidad sexual, religión, raza/etnia, origen nacional, partido político, nivel de ingresos, edad, idioma y condición de inmigrante o refugiado. [47]
El conocimiento se construye dentro de un contexto de poder y privilegio, con consecuencias asociadas a qué versión del conocimiento se privilegia. [47] "El conocimiento está social e históricamente ubicado dentro de un contexto cultural complejo". [50]
Las decisiones metodológicas tienen como objetivo determinar el enfoque que facilitará mejor el uso del proceso y los hallazgos para mejorar la justicia social; identificar las fuerzas sistémicas que sustentan el status quo y aquellas que permitirán que se produzca el cambio; y reconocer la necesidad de una relación crítica y reflexiva entre el evaluador y las partes interesadas. [47]
Al trabajar en pos de la justicia social, es fundamental poder ver el mundo a través de la perspectiva de quienes sufren injusticias. La teoría crítica de la raza, la teoría feminista y la teoría queer/LGBTQ son marcos de referencia que nos permiten pensar cómo deberían abordar la justicia los grupos marginados. Estas perspectivas crean oportunidades para que cada teoría sea una prioridad a la hora de abordar la desigualdad.
La teoría crítica de la raza (CRT) es una extensión de la teoría crítica que se centra en las desigualdades basadas en la raza y la etnicidad. Daniel Solorzano describe el papel de la CRT como un marco para investigar y hacer visibles aquellos aspectos sistémicos de la sociedad que permiten que continúe el status quo discriminatorio y opresivo del racismo. [51]
La esencia de las teorías feministas es “exponer las prácticas individuales e institucionales que han negado el acceso a las mujeres y otros grupos oprimidos y han ignorado o devaluado a las mujeres” [52].
Los teóricos queer/LGBTQ cuestionan el sesgo heterosexista que impregna la sociedad en términos de poder sobre las minorías de orientación sexual y discriminación hacia ellas. Debido a la sensibilidad de las cuestiones relacionadas con la condición LGBTQ, los evaluadores deben conocer formas seguras de proteger las identidades de esas personas y asegurarse de que las prácticas discriminatorias salgan a la luz para lograr una sociedad más justa. [47]
En vista del déficit presupuestario federal, la administración Obama decidió aplicar un "enfoque basado en la evidencia" al gasto público, que incluía métodos rigurosos de evaluación de programas. El presupuesto del Presidente para 2011 destinó fondos para 19 evaluaciones de programas gubernamentales para agencias como el Departamento de Educación y la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID). Un grupo interinstitucional cumple con el objetivo de aumentar la transparencia y la rendición de cuentas mediante la creación de redes de evaluación eficaces y el aprovechamiento de las mejores prácticas. [53] Un marco de seis pasos para realizar la evaluación de los programas de salud pública, publicado por los Centros para el Control y la Prevención de Enfermedades (CDC), inicialmente aumentó el énfasis en la evaluación de programas gubernamentales en los Estados Unidos. El marco es el siguiente:
En enero de 2019, la Ley de Fundamentos para la Formulación de Políticas Basadas en la Evidencia introdujo nuevos requisitos para las agencias federales, como el nombramiento de un Director de Evaluación. Las directrices publicadas por la Oficina de Administración y Presupuesto sobre la implementación de esta ley requieren que las agencias desarrollen una agenda de aprendizaje plurianual, que contiene preguntas específicas que la agencia desea responder para mejorar los resultados estratégicos y operativos. [54] Las agencias también deben completar un plan de evaluación anual que resuma las evaluaciones específicas que la agencia planea realizar para abordar las preguntas de la agenda de aprendizaje.
Existen muchos enfoques diferentes para la evaluación de programas y cada uno de ellos tiene un propósito diferente.
El modelo de evaluación CIPP fue desarrollado por Daniel Stufflebeam y sus colegas en la década de 1960. CIPP es un acrónimo de Context, Input, Process and Product (Contexto, Insumo, Proceso y Producto). CIPP es un modelo de evaluación que requiere la evaluación del contexto , el insumo , el proceso y el producto para juzgar el valor de un programa. CIPP es un enfoque de evaluación centrado en la toma de decisiones y enfatiza el suministro sistemático de información para la gestión y operación del programa. [55]
El marco CIPP se desarrolló como un medio para vincular la evaluación con la toma de decisiones programáticas . Su objetivo es proporcionar una base analítica y racional para la toma de decisiones programáticas, basada en un ciclo de planificación, estructuración, implementación y revisión de decisiones, cada una examinada a través de un aspecto diferente de la evaluación: contexto, insumos, proceso y evaluación del producto. [55]
El modelo CIPP es un intento de hacer que la evaluación sea directamente relevante para las necesidades de los tomadores de decisiones durante las fases y actividades de un programa. [55] El modelo de evaluación de contexto, insumo , proceso y producto (CIPP) de Stufflebeam se recomienda como un marco para guiar sistemáticamente la concepción, el diseño, la implementación y la evaluación de proyectos de aprendizaje-servicio, y proporcionar retroalimentación y juicio sobre la efectividad del proyecto para la mejora continua. [55]
Estos aspectos son el contexto, los insumos, el proceso y el producto. Estos cuatro aspectos de la evaluación CIPP ayudan al responsable de la toma de decisiones a responder cuatro preguntas básicas:
Esto implica la recopilación y el análisis de datos de evaluación de necesidades para determinar metas, prioridades y objetivos. Por ejemplo, una evaluación del contexto de un programa de alfabetización podría implicar un análisis de los objetivos existentes del programa de alfabetización, los resultados de las pruebas de alfabetización, las preocupaciones del personal (generales y particulares), las políticas y planes de alfabetización y las preocupaciones, percepciones o actitudes y necesidades de la comunidad. [55]
Esto implica los pasos y recursos necesarios para alcanzar las nuevas metas y objetivos y podría incluir la identificación de programas y materiales externos exitosos, así como la recopilación de información. [55]
Esto proporciona a los responsables de la toma de decisiones información sobre el grado de ejecución del programa. Mediante el seguimiento continuo del programa, los responsables de la toma de decisiones se enteran de aspectos como el grado de cumplimiento de los planes y directrices, los conflictos que surgen, el apoyo y la moral del personal, los puntos fuertes y débiles de los materiales y los problemas de entrega y presupuestación. [55]
Al medir los resultados reales y compararlos con los resultados previstos, los encargados de tomar decisiones están en mejores condiciones de decidir si el programa debe continuar, modificarse o abandonarse por completo. Esta es la esencia de la evaluación de productos. [55]
Como guía de evaluación , el modelo CIPP permite a los evaluadores evaluar el programa en diferentes etapas, a saber: antes de que comience el programa, ayudándolos a evaluar la necesidad, y al final del programa para evaluar si el programa tuvo o no un efecto.
El modelo CIPP permite a los evaluadores hacer preguntas formativas al inicio del programa y luego respaldar la evaluación del impacto del programa mediante la formulación de preguntas sumativas sobre todos los aspectos del programa.
{{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: location missing publisher (link) CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link)