La evaluación de programas es un método sistemático para recopilar, analizar y utilizar información para responder preguntas sobre proyectos, políticas y programas , [1] particularmente sobre su efectividad y eficiencia .
Tanto en el sector público como en el sector privado , así como en el sector voluntario , las partes interesadas podrían verse obligadas a evaluar (según la ley o los estatutos) o querer saber si los programas que financian, implementan, votan, reciben o se oponen están produciendo los resultados esperados. efecto prometido. Hasta cierto punto, la evaluación de programas cae dentro del análisis tradicional de costo-beneficio , relacionado con retornos justos sobre el desembolso de activos económicos y de otro tipo; sin embargo, los resultados sociales pueden ser más complejos de evaluar que los resultados del mercado, y se requiere un conjunto de habilidades diferente. Las consideraciones incluyen cuánto cuesta el programa por participante, el impacto del programa , cómo se podría mejorar el programa, si existen mejores alternativas, si hay consecuencias imprevistas y si los objetivos del programa son apropiados y útiles. [2] Los evaluadores ayudan a responder estas preguntas. La mejor práctica es que la evaluación sea un proyecto conjunto entre evaluadores y partes interesadas. [3]
Se aplica una amplia gama de títulos diferentes a los evaluadores de programas, quizás a veces al azar, pero hay algunos usos establecidos: aquellos que utilizan regularmente habilidades y técnicas de evaluación de programas en el trabajo se conocen como analistas de programas ; aquellos cuyos puestos combinan tareas de asistente administrativo o secretaria con evaluación de programas se conocen como asistentes de programas, empleados de programas (Reino Unido), especialistas en apoyo de programas o asociados de programas; aquellos cuyos puestos agregan tareas de gestión de proyectos de nivel inferior se conocen como Coordinadores de Programa.
El proceso de evaluación se considera un fenómeno relativamente reciente. Sin embargo, se ha documentado que la evaluación social planificada se remonta al año 2200 a.C. [4] La evaluación se volvió particularmente relevante en los Estados Unidos en la década de 1960 durante el período de los programas sociales de la Gran Sociedad asociados con las administraciones de Kennedy y Johnson . [5] [6] Se invirtieron sumas extraordinarias en programas sociales, pero los impactos de estas inversiones se desconocían en gran medida. [ cita necesaria ]
Las evaluaciones de programas pueden involucrar métodos tanto cuantitativos como cualitativos de investigación social . Las personas que realizan la evaluación de programas provienen de diferentes orígenes, como sociología , psicología , economía , trabajo social , así como de subcampos de las ciencias políticas , como políticas públicas y administración pública , que han estudiado una metodología similar conocida como análisis de políticas . Algunas universidades también tienen programas de capacitación específicos, especialmente a nivel de posgrado en evaluación de programas, para quienes estudiaron un área temática de pregrado que carece de habilidades de evaluación de programas. [7]
La evaluación del programa puede realizarse en varias etapas durante la vida del programa. Cada una de estas etapas plantea diferentes preguntas que el evaluador debe responder y, en consecuencia, se necesitan diferentes enfoques de evaluación. Rossi, Lipsey y Freeman (2004) sugieren los siguientes tipos de evaluación, que pueden ser apropiadas en estas diferentes etapas:
Una evaluación de necesidades examina la población a la que el programa pretende dirigirse, para ver si la necesidad conceptualizada en el programa realmente existe en la población; si es, de hecho, un problema; y en caso afirmativo, cuál sería la mejor manera de abordarlo. Esto incluye identificar y diagnosticar el problema real que el programa está tratando de abordar, quién o qué se ve afectado por el problema, qué tan extendido está el problema y cuáles son los efectos mensurables que causa el problema. Por ejemplo, para un programa de vivienda destinado a mitigar la falta de vivienda, un evaluador del programa puede querer saber cuántas personas están sin hogar en un área geográfica determinada y cuál es su demografía. Rossi, Lipsey y Freeman (2004) advierten contra la realización de una intervención sin evaluar adecuadamente su necesidad, porque esto podría dar lugar a una gran cantidad de fondos desperdiciados si la necesidad no existiera o estuviera mal concebida.
La evaluación de necesidades involucra los procesos o métodos utilizados por los evaluadores para describir y diagnosticar las necesidades sociales [8] . Esto es esencial para los evaluadores porque necesitan identificar si los programas son efectivos y no pueden hacerlo a menos que hayan identificado cuál es el problema/necesidad. Los programas que no realizan una evaluación de las necesidades pueden tener la ilusión de que han erradicado el problema o la necesidad, cuando en realidad no había necesidad en primer lugar. La evaluación de necesidades implica investigación y consultas periódicas con las partes interesadas de la comunidad y con las personas que se beneficiarán del proyecto antes de que el programa pueda desarrollarse e implementarse. Por tanto, debería ser un enfoque ascendente. De esta manera, los problemas potenciales se pueden detectar tempranamente porque el proceso habría involucrado a la comunidad en la identificación de la necesidad y, por lo tanto, habría brindado la oportunidad de identificar barreras potenciales.
Por tanto, la importante tarea de un evaluador de programas es: Primero, elaborar una definición precisa de cuál es el problema. [8] Los evaluadores deben identificar primero el problema/necesidad. Esto se logra de manera más efectiva al incluir de manera colaborativa a todas las posibles partes interesadas, es decir, la comunidad afectada por el problema potencial, los agentes/actores que trabajan para abordar y resolver el problema, los financiadores, etc. Incluir la aceptación desde el principio del proceso reduce el potencial de rechazo, falta de comunicación e información incompleta más adelante.
En segundo lugar, evalúe el alcance del problema. [8] Una vez identificado claramente cuál es el problema, los evaluadores deben evaluar su alcance. Necesitan responder a las preguntas de "dónde" y "qué importancia". Los evaluadores deben determinar dónde se encuentra el problema y qué tan grande es. Señalar que existe un problema es mucho más fácil que tener que especificar dónde está ubicado y cuán extendido está. Rossi, Lipsey y Freeman (2004) dieron un ejemplo de que: una persona que identifique a algunos niños maltratados puede ser evidencia suficiente para persuadir a alguien de que existe abuso infantil. Pero indicar a cuántos niños afecta y dónde está ubicado geográfica y socialmente requeriría conocimiento sobre los niños abusados, las características de los perpetradores y el impacto del problema en toda la autoridad política en cuestión.
Esto puede resultar difícil teniendo en cuenta que el abuso infantil no es un comportamiento público y teniendo en cuenta también que las estimaciones de las tasas de comportamiento privado generalmente no son posibles debido a factores como los casos no denunciados. En este caso, los evaluadores tendrían que utilizar datos de varias fuentes y aplicar diferentes enfoques para estimar las tasas de incidencia. Hay dos preguntas más que deben responderse: [9] Los evaluadores también deben responder las preguntas 'cómo' y 'qué' [9] La pregunta 'cómo' requiere que los evaluadores determinen cómo se abordará la necesidad. Una vez identificada la necesidad y familiarizado con los evaluadores comunitarios, se debe realizar un análisis de desempeño para identificar si el plan propuesto en el programa realmente podrá eliminar la necesidad. La pregunta "qué" requiere que los evaluadores realicen un análisis de la tarea para descubrir cuál sería la mejor manera de realizarla. Por ejemplo, si los estándares de desempeño laboral los establece una organización o si es necesario considerar algunas reglas gubernamentales al realizar la tarea. [9]
En tercer lugar, definir e identificar el objetivo de las intervenciones y describir con precisión la naturaleza de las necesidades de servicios de esa población [8] . Es importante saber cuál o quién es la población objetivo: podrían ser individuos, grupos, comunidades, etc. Hay tres unidades de población: población en riesgo, población necesitada y población en demanda [8]
Ser capaz de especificar quién/quién es el objetivo ayudará a establecer límites apropiados, de modo que las intervenciones puedan dirigirse correctamente a la población objetivo y sean factibles de aplicar< [ 8]
Hay cuatro pasos para realizar una evaluación de necesidades: [10]
Por lo tanto, el análisis de necesidades es un paso muy crucial en la evaluación de programas porque la eficacia de un programa no puede evaluarse a menos que sepamos cuál fue el problema en primer lugar.
La teoría del programa, también llamada modelo lógico , mapa de conocimiento, [11] o vía de impacto, [12] es una suposición, implícita en la forma en que está diseñado el programa, sobre cómo se supone que las acciones del programa lograrán los resultados que pretende. Este "modelo lógico" a menudo no lo expresan explícitamente las personas que dirigen los programas, sino que simplemente se supone, por lo que un evaluador tendrá que averiguar con el personal del programa cómo exactamente se supone que el programa debe lograr sus objetivos y evaluar si esta lógica es válida. plausible. Por ejemplo, en un programa de prevención del VIH, se puede suponer que educar a las personas sobre la transmisión del VIH/SIDA, los riesgos y las prácticas sexuales seguras dará como resultado la práctica de relaciones sexuales más seguras. Sin embargo, las investigaciones en Sudáfrica muestran cada vez más que, a pesar de una mayor educación y conocimiento, la gente todavía no practica sexo seguro. [13] Por lo tanto, la lógica de un programa que se basa en la educación como medio para lograr que la gente use condones puede ser defectuosa. Por eso es importante leer las investigaciones que se han realizado en el área. Explicar esta lógica también puede revelar consecuencias no deseadas o imprevistas de un programa, tanto positivas como negativas. La teoría del programa impulsa las hipótesis a probar para la evaluación de impacto. Desarrollar un modelo lógico también puede generar un entendimiento común entre el personal del programa y las partes interesadas sobre lo que realmente se supone que debe hacer el programa y cómo se supone que debe hacerlo, lo cual a menudo falta (consulte Análisis de vías de impacto participativo ). Por supuesto, también es posible que durante el proceso de intentar obtener el modelo lógico detrás de un programa, los evaluadores descubran que dicho modelo no está completamente desarrollado, es internamente contradictorio o (en el peor de los casos) esencialmente inexistente. Esto limita decididamente la efectividad de la evaluación, aunque no necesariamente reduce o elimina el programa. [14]
Crear un modelo lógico es una manera maravillosa de ayudar a visualizar aspectos importantes de los programas, especialmente al prepararse para una evaluación. Un evaluador debe crear un modelo lógico con aportes de muchas partes interesadas diferentes. Los modelos lógicos tienen 5 componentes principales: recursos o insumos, actividades, productos, resultados a corto plazo y resultados a largo plazo [15] La creación de un modelo lógico ayuda a articular el problema, los recursos y la capacidad que se están utilizando actualmente para abordar el problema. y los resultados mensurables del programa. Observar los diferentes componentes de un programa en relación con los objetivos generales a corto y largo plazo permite iluminar posibles desajustes. Crear un modelo lógico real es particularmente importante porque ayuda a aclarar para todas las partes interesadas: la definición del problema, los objetivos generales y la capacidad y los resultados del programa. [15]
Rossi, Lipsey y Freeman (2004) sugieren cuatro enfoques y procedimientos que pueden utilizarse para evaluar la teoría del programa. [8] Estos enfoques se analizan a continuación.
Esto implica evaluar la teoría del programa relacionándola con las necesidades de la población objetivo a la que el programa pretende atender. Si la teoría del programa no logra abordar las necesidades de la población objetivo, se volverá ineficaz incluso si se implementa bien. [8]
Esta forma de evaluación implica pedir a un panel de revisores expertos que revisen críticamente la lógica y la plausibilidad de los supuestos y expectativas inherentes al diseño del programa. [8] El proceso de revisión no está estructurado y es abierto para abordar ciertas cuestiones sobre el diseño del programa. Rutman (1980), Smith (1989) y Wholly (1994) sugirieron las preguntas que se enumeran a continuación para ayudar en el proceso de revisión. [8]
Esta forma de evaluación requiere obtener información de la literatura de investigación y las prácticas existentes para evaluar varios componentes de la teoría del programa. El evaluador puede evaluar si la teoría del programa es congruente con la evidencia de la investigación y las experiencias prácticas de programas con conceptos similares. [8]
Este enfoque implica incorporar observaciones de primera mano en el proceso de evaluación, ya que proporciona una verificación de la concordancia entre la teoría del programa y el programa mismo. [8] Las observaciones pueden centrarse en la viabilidad de los resultados, las circunstancias de la población objetivo y la plausibilidad de las actividades del programa y los recursos de apoyo. [8]
Estas diferentes formas de evaluación de la teoría del programa se pueden realizar para garantizar que la teoría del programa sea sólida.
Wright y Wallis (2019) describieron una técnica adicional para evaluar la teoría de un programa basada en la estructura de la teoría . Este enfoque, conocido como análisis proposicional integrativo (IPA), se basa en corrientes de investigación que encontraron que era más probable que las teorías funcionaran como se esperaba cuando tenían una mejor estructura (además de significado y datos). IPA implica, primero, identificar las proposiciones (declaraciones de causa y efecto) y crear un diagrama visual de esas proposiciones. Luego, el investigador examina la cantidad de conceptos y las relaciones causales entre ellos (círculos y flechas en el diagrama) para medir la amplitud y profundidad de la comprensión reflejada en la estructura de la teoría. La medida de la amplitud es el número de conceptos. Esto se basa en la idea de que los programas del mundo real involucran muchas partes interconectadas, por lo tanto, una teoría que muestra una mayor cantidad de conceptos muestra una mayor amplitud de comprensión del programa. La profundidad es el porcentaje de conceptos que son resultado de más de un concepto. Esto se basa en la idea de que, en los programas del mundo real, las cosas tienen más de una causa. Por lo tanto, un concepto que es el resultado de más de otro concepto en la teoría muestra una mejor comprensión de ese concepto; una teoría con un mayor porcentaje de conceptos mejor comprendidos muestra una mayor comprensión profunda del programa.
El análisis de procesos va más allá de la teoría de lo que se supone que debe hacer el programa y, en cambio, evalúa cómo se está implementando el programa. Esta evaluación determina si los componentes identificados como críticos para el éxito del programa se están implementando. La evaluación determina si se está llegando a las poblaciones objetivo, si las personas están recibiendo los servicios previstos y si el personal está adecuadamente calificado. La evaluación del proceso es un proceso continuo en el que se pueden utilizar medidas repetidas para evaluar si el programa se está implementando de manera efectiva. Este problema es particularmente crítico porque muchas innovaciones, particularmente en áreas como la educación y las políticas públicas, consisten en cadenas de acción bastante complejas. Por ejemplo, la evaluación de procesos se puede utilizar en la investigación de salud pública. [16] Muchos de los cuales estos elementos dependen de la implementación correcta previa de otros elementos, y fallarán si la implementación previa no se realizó correctamente. Esto fue demostrado de manera concluyente por Gene V. Glass y muchos otros durante la década de 1980. Dado que una implementación incorrecta o ineficaz producirá el mismo tipo de resultados neutrales o negativos que se producirían con la implementación correcta de una innovación deficiente, es esencial que la investigación de evaluación evalúe el proceso de implementación en sí. [17] De lo contrario, una buena idea innovadora puede ser caracterizada erróneamente como ineficaz, cuando en realidad nunca se había implementado como se diseñó.
La evaluación de impacto determina los efectos causales del programa. Esto implica tratar de medir si el programa ha logrado los resultados previstos, es decir, los resultados del programa.
Un resultado es el estado de la población objetivo o las condiciones sociales que se espera que cambie un programa. [8] Los resultados del programa son las características observadas de la población objetivo o las condiciones sociales, no del programa. Por lo tanto, el concepto de resultado no significa necesariamente que las metas del programa hayan cambiado realmente o que el programa haya provocado que cambien de alguna manera. [8]
Hay dos tipos de resultados, a saber, el nivel de resultados y el cambio de resultados, también asociados con el efecto del programa. [8]
La medición de resultados consiste en representar las circunstancias definidas como resultado mediante indicadores observables que varían sistemáticamente con los cambios o diferencias en esas circunstancias. [8] La medición de resultados es una forma sistemática de evaluar en qué medida un programa ha logrado los resultados previstos. [18] Según Mouton (2009), medir el impacto de un programa significa demostrar o estimar el efecto próximo y emergente diferenciado acumulado, algunos de los cuales pueden ser no intencionados y, por lo tanto, imprevistos. [19]
La medición de resultados sirve para ayudar a comprender si el programa es eficaz o no. Además, ayuda a aclarar la comprensión de un programa. Pero la razón más importante para emprender el esfuerzo es comprender los impactos del trabajo en las personas a las que se presta servicio. [19] Con la información recopilada, se puede determinar qué actividades continuar y desarrollar, y cuáles deben cambiarse para mejorar la eficacia del programa.
Esto puede implicar el uso de técnicas estadísticas sofisticadas para medir el efecto del programa y encontrar una relación causal entre el programa y los diversos resultados.
Finalmente, el análisis costo-beneficio o costo-eficiencia evalúa la eficiencia de un programa. Los evaluadores describen los beneficios y el costo del programa para compararlos. Un programa eficiente tiene una menor relación costo-beneficio. Hay dos tipos de eficiencia, a saber, estática y dinámica. Mientras que la eficiencia estática se refiere a lograr los objetivos con el menor costo, la eficiencia dinámica se refiere a la mejora continua.[20]
Quizás la parte más difícil de la evaluación sea determinar si el programa en sí está provocando los cambios que se observan en la población a la que estaba dirigido. Eventos o procesos fuera del programa pueden ser la causa real del resultado observado (o la prevención real del resultado anticipado).
La causalidad es difícil de determinar. Una razón principal de esto es el sesgo de autoselección . [21] Las personas se seleccionan a sí mismas para participar en un programa. Por ejemplo, en un programa de capacitación laboral algunas personas deciden participar y otras no. Aquellos que participan pueden diferir de aquellos que no lo hacen en aspectos importantes. Es posible que estén más decididos a encontrar un trabajo o tener mejores recursos de apoyo. En realidad, estas características pueden estar causando el resultado observado de aumento del empleo, no el programa de capacitación laboral.
Las evaluaciones realizadas con asignación aleatoria pueden hacer inferencias más sólidas sobre la causalidad. Asignar aleatoriamente personas para participar o no en el programa reduce o elimina el sesgo de autoselección . Por lo tanto, el grupo de personas que participan probablemente sería más comparable al grupo que no participó.
Sin embargo, dado que la mayoría de los programas no pueden utilizar la asignación aleatoria, no se puede determinar la causalidad. El análisis de impacto aún puede proporcionar información útil. Por ejemplo, se pueden describir los resultados del programa. Por lo tanto, la evaluación puede describir que las personas que participaron en el programa tenían más probabilidades de experimentar un resultado determinado que las personas que no participaron.
Si el programa es bastante grande y hay suficientes datos, se puede utilizar el análisis estadístico para presentar argumentos razonables a favor del programa mostrando, por ejemplo, que otras causas son poco probables.
Es importante garantizar que los instrumentos (por ejemplo, pruebas, cuestionarios, etc.) utilizados en la evaluación del programa sean lo más confiables, válidos y sensibles posible. Según Rossi et al. (2004, p. 222), [8] 'una medida mal elegida o mal concebida puede socavar completamente el valor de una evaluación de impacto al producir estimaciones engañosas. Sólo si las medidas de resultados son válidas, fiables y adecuadamente sensibles podrán considerarse creíbles las evaluaciones de impacto”.
La confiabilidad de un instrumento de medición es el "grado en que la medida produce los mismos resultados cuando se usa repetidamente para medir la misma cosa" (Rossi et al., 2004, p. 218). [8] Cuanto más confiable sea una medida, mayor será su poder estadístico y más creíbles sus hallazgos. Si un instrumento de medición no es confiable, puede diluir y oscurecer los efectos reales de un programa, y el programa "parecerá menos efectivo de lo que realmente es" (Rossi et al., 2004, p. 219). [8] Por lo tanto, es importante garantizar que la evaluación sea lo más confiable posible.
La validez de un instrumento de medición es "la medida en que mide lo que se pretende medir" (Rossi et al., 2004, p. 219). [8] Este concepto puede ser difícil de medir con precisión: en el uso general en evaluaciones, un instrumento puede considerarse válido si las partes interesadas lo aceptan como válido (las partes interesadas pueden incluir, por ejemplo, financiadores, administradores de programas, etc.).
El objetivo principal del proceso de evaluación es medir si el programa tiene algún efecto sobre el problema social que busca solucionar; por lo tanto, el instrumento de medición debe ser lo suficientemente sensible como para discernir estos cambios potenciales (Rossi et al., 2004). [8] Un instrumento de medición puede ser insensible si contiene elementos que miden resultados que el programa no podría afectar, o si el instrumento fue desarrollado originalmente para aplicaciones individuales (por ejemplo, medidas psicológicas estandarizadas) en lugar de un entorno grupal (Rossi et al., 2004). [8] Estos factores pueden resultar en "ruido" que puede oscurecer cualquier efecto que el programa pueda haber tenido.
Sólo se puede decir que son evaluaciones creíbles las medidas que alcanzan adecuadamente los parámetros de confiabilidad, validez y sensibilidad. Es deber de los evaluadores producir evaluaciones creíbles, ya que sus hallazgos pueden tener efectos de gran alcance. Una evaluación desacreditable que no pueda demostrar que un programa está logrando su propósito cuando en realidad está creando un cambio positivo puede hacer que el programa pierda su financiación inmerecidamente. [¿ síntesis inadecuada? ]
El Centro para el Control de Enfermedades (CDC) delinea seis pasos para una evaluación completa del programa. Los pasos descritos son: involucrar a las partes interesadas, describir el programa, enfocar el diseño de la evaluación, recopilar evidencia creíble, justificar las conclusiones y garantizar el uso y compartir las lecciones aprendidas. [22] Estos pasos pueden ocurrir en un marco de ciclo para representar el proceso continuo de evaluación.
Aunque los procesos de evaluación de programas mencionados aquí son apropiados para la mayoría de los programas, las iniciativas no lineales altamente complejas, como las que utilizan el modelo de impacto colectivo (CI), requieren un enfoque dinámico de evaluación. El impacto colectivo es "el compromiso de un grupo de actores importantes de diferentes sectores con una agenda común para resolver un problema social específico" [23] y normalmente implica tres etapas, cada una con un enfoque de evaluación recomendado diferente:
Enfoque de evaluación recomendado: Evaluación del desarrollo para ayudar a los socios de CI a comprender el contexto de la iniciativa y su desarrollo: [24] "La evaluación del desarrollo implica retroalimentación en tiempo real sobre lo que está surgiendo en sistemas dinámicos complejos a medida que los innovadores buscan lograr cambios en los sistemas". [25]
Enfoque de evaluación recomendado: Evaluación formativa para refinar y mejorar el progreso, así como evaluación de desarrollo continua para explorar nuevos elementos a medida que surjan. La evaluación formativa implica "un seguimiento cuidadoso de los procesos para responder a las propiedades emergentes y a cualquier resultado inesperado". [26]
Enfoque de evaluación recomendado: La evaluación sumativa "utiliza métodos tanto cuantitativos como cualitativos para comprender mejor lo que [el] proyecto ha logrado y cómo o por qué ha ocurrido". [27]
La planificación de la evaluación de un programa se puede dividir en cuatro partes: centrar la evaluación, recopilar la información, utilizar la información y gestionar la evaluación. [28] La evaluación del programa implica reflexionar sobre preguntas sobre el propósito de la evaluación, qué preguntas es necesario hacer y qué se hará con la información recopilada. Las preguntas críticas a considerar incluyen:
El "enfoque de evaluación reducida" está diseñado para ayudar a los evaluadores que operan con un presupuesto limitado, un acceso o disponibilidad de datos limitados y un tiempo de respuesta limitado, a realizar evaluaciones efectivas que sean metodológicamente rigurosas (Bamberger, Rugh, Church & Fort, 2004). [29] Este enfoque ha respondido a la necesidad cada vez mayor de procesos de evaluación que sean más rápidos y económicos en circunstancias difíciles de presupuesto, limitaciones de tiempo y disponibilidad limitada de datos. Sin embargo, no siempre es posible diseñar una evaluación para alcanzar los más altos estándares disponibles. Muchos programas no incluyen un procedimiento de evaluación en su diseño o presupuesto. Por lo tanto, muchos procesos de evaluación no comienzan hasta que el programa ya está en marcha, lo que puede resultar en limitaciones de tiempo, presupuesto o datos para los evaluadores, lo que a su vez puede afectar la confiabilidad, validez o sensibilidad de la evaluación. > El enfoque de ahorro de recursos ayuda a garantizar que se alcance el máximo rigor metodológico posible bajo estas limitaciones.
Con frecuencia, los programas enfrentan restricciones presupuestarias porque la mayoría de los proyectos originales no incluyen un presupuesto para realizar una evaluación (Bamberger et al., 2004). Por lo tanto, esto automáticamente da como resultado que a las evaluaciones se les asignen presupuestos más pequeños que son inadecuados para una evaluación rigurosa. Debido a las limitaciones presupuestarias, podría resultar difícil aplicar eficazmente los instrumentos metodológicos más adecuados. En consecuencia, estas limitaciones pueden afectar el tiempo disponible para realizar la evaluación (Bamberger et al., 2004). [29] Las restricciones presupuestarias pueden abordarse simplificando el diseño de la evaluación, revisando el tamaño de la muestra, explorando métodos económicos de recopilación de datos (como el uso de voluntarios para recopilar datos, acortando las encuestas o utilizando grupos focales e informantes clave) o buscando datos secundarios confiables. (Bamberger et al., 2004). [29]
La mayor limitación de tiempo que puede enfrentar un evaluador es cuando se le convoca a realizar una evaluación cuando un proyecto ya está en marcha, si se le da un tiempo limitado para realizar la evaluación en comparación con la vida del estudio, o si no se le da tiempo suficiente para realizar la evaluación. suficiente tiempo para una planificación adecuada. Las limitaciones de tiempo son particularmente problemáticas cuando el evaluador no está familiarizado con el área o país en el que se ubica el programa (Bamberger et al., 2004). [29] Las limitaciones de tiempo pueden abordarse mediante los métodos enumerados bajo restricciones presupuestarias como se indicó anteriormente, y también mediante una planificación cuidadosa para garantizar una recopilación y análisis de datos efectivos dentro de un espacio de tiempo limitado.
Si la evaluación se inicia tarde en el programa, es posible que no haya datos de referencia sobre las condiciones del grupo objetivo antes de que comenzara la intervención (Bamberger et al., 2004). [29] Otra posible causa de limitaciones de datos es si los datos han sido recopilados por el personal del programa y contienen sesgos sistemáticos en la presentación de informes o estándares deficientes de mantenimiento de registros y, posteriormente, son de poca utilidad (Bamberger et al., 2004). [29] Otra fuente de limitaciones de datos puede surgir si resulta difícil llegar al grupo destinatario para recopilar datos, por ejemplo, personas sin hogar, drogadictos, trabajadores migrantes, etc. (Bamberger et al., 2004). [29] Las limitaciones de datos pueden abordarse reconstruyendo los datos de referencia a partir de datos secundarios o mediante el uso de múltiples métodos. Múltiples métodos, como la combinación de datos cualitativos y cuantitativos, pueden aumentar la validez mediante la triangulación y ahorrar tiempo y dinero. Además, estas limitaciones pueden abordarse mediante una planificación cuidadosa y consultas con las partes interesadas del programa. Al identificar y comprender claramente las necesidades del cliente antes de la evaluación, se pueden agilizar y reducir los costos y el tiempo del proceso de evaluación, manteniendo al mismo tiempo la credibilidad.
En definitiva, las limitaciones de tiempo, monetarias y de datos pueden tener implicaciones negativas en la validez, confiabilidad y transferibilidad de la evaluación. El enfoque reducido se ha creado para ayudar a los evaluadores a corregir las limitaciones identificadas anteriormente mediante la identificación de formas de reducir costos y tiempo, reconstruir datos de referencia y garantizar la máxima calidad bajo las limitaciones existentes (Bamberger et al., 2004).
El enfoque de evaluación de cinco niveles desarrolla aún más las estrategias en las que se basa el enfoque de evaluación reducido. [30] Fue desarrollado originalmente por Jacobs (1988) como una forma alternativa de evaluar programas comunitarios y como tal se aplicó a un programa estatal para niños y familias en Massachusetts, EE. UU. [31] El enfoque de cinco niveles se ofrece como una marco conceptual para hacer coincidir las evaluaciones con mayor precisión con las características de los propios programas y con los recursos y limitaciones particulares inherentes a cada contexto de evaluación. [30] En otras palabras, el enfoque de cinco niveles busca adaptar la evaluación a las necesidades específicas de cada contexto de evaluación.
Los niveles anteriores (1-3) generan información descriptiva y orientada al proceso, mientras que los niveles posteriores (4-5) determinan los efectos del programa tanto a corto como a largo plazo. [32] Los cinco niveles están organizados de la siguiente manera:
Para cada nivel, se identifican los propósitos, junto con las tareas correspondientes que permiten lograr el propósito identificado del nivel. [34] Por ejemplo, el propósito del primer nivel, Evaluación de necesidades, sería documentar la necesidad de un programa en una comunidad. La tarea para ese nivel sería evaluar las necesidades y los activos de la comunidad trabajando con todas las partes interesadas relevantes. [34]
Si bien los niveles están estructurados para uso consecutivo, lo que significa que la información recopilada en los niveles anteriores se requiere para tareas en niveles superiores, se reconoce la naturaleza fluida de la evaluación. [32] Por lo tanto, es posible pasar de niveles posteriores a los anteriores, o incluso trabajar en dos niveles al mismo tiempo. [34] Sin embargo, es importante que los evaluadores de programas tengan en cuenta que un programa debe evaluarse al nivel apropiado. [33]
Se dice que el enfoque de cinco niveles es útil para programas de apoyo familiar que enfatizan el empoderamiento de la comunidad y los participantes. Esto se debe a que fomenta un enfoque participativo que involucra a todas las partes interesadas y es a través de este proceso de reflexión que se logra el empoderamiento. [31]
El propósito de esta sección es llamar la atención sobre algunos de los desafíos y dilemas metodológicos que los evaluadores enfrentan potencialmente al realizar una evaluación de programa en un país en desarrollo. En muchos países en desarrollo, los principales patrocinadores de la evaluación son agencias donantes del mundo desarrollado, y estas agencias requieren informes de evaluación periódicos para mantener la rendición de cuentas y el control de los recursos, así como para generar evidencia del éxito o fracaso del programa. [35] Sin embargo, hay muchos obstáculos y desafíos que enfrentan los evaluadores cuando intentan implementar un programa de evaluación que intenta hacer uso de técnicas y sistemas que no están desarrollados dentro del contexto al que se aplican. [36] Algunas de las cuestiones incluyen diferencias en la cultura, las actitudes, el idioma y el proceso político. [36] [37]
Ebbutt (1998, p. 416) define la cultura como una "constelación de expectativas, valores, normas, reglas, leyes, artefactos, rituales y comportamientos escritos y no escritos que impregnan una sociedad e influyen en cómo las personas se comportan socialmente". [37] La cultura puede influir en muchas facetas del proceso de evaluación, incluida la recopilación de datos, la implementación del programa de evaluación y el análisis y comprensión de los resultados de la evaluación. [37] En particular, los instrumentos que se utilizan tradicionalmente para recopilar datos, como cuestionarios y entrevistas semiestructuradas, deben ser sensibles a las diferencias culturales, si se desarrollaron originalmente en un contexto cultural diferente. [38] La comprensión y el significado de los constructos que el evaluador intenta medir pueden no ser compartidos entre el evaluador y la población de la muestra y, por lo tanto, la transferencia de conceptos es una noción importante, ya que esto influirá en la calidad de la recopilación de datos realizada. por los evaluadores así como el análisis y resultados generados por los datos. [38]
El idioma también juega un papel importante en el proceso de evaluación, ya que el idioma está estrechamente vinculado a la cultura. [38] El idioma puede ser una barrera importante para comunicar conceptos a los que el evaluador intenta acceder, y a menudo se requiere traducción. [37] Hay una multitud de problemas con la traducción, incluida la pérdida de significado, así como la exageración o mejora del significado por parte de los traductores. [37] Por ejemplo, los términos que son contextualmente específicos pueden no traducirse a otro idioma con el mismo peso o significado. En particular, los instrumentos de recopilación de datos deben tener en cuenta el significado, ya que el tema en cuestión puede no considerarse sensible en un contexto particular y podría resultarlo en el contexto en el que se lleva a cabo la evaluación. [38] Por lo tanto, los evaluadores deben tener en cuenta dos conceptos importantes al administrar las herramientas de recopilación de datos: equivalencia léxica y equivalencia conceptual. [38] La equivalencia léxica plantea la pregunta: ¿cómo se formula una pregunta en dos idiomas usando las mismas palabras? Ésta es una tarea difícil de realizar y el uso de técnicas como la retrotraducción puede ayudar al evaluador, pero no puede dar como resultado una transferencia perfecta de significado. [38] Esto lleva al siguiente punto, la equivalencia conceptual. No es frecuente que conceptos se transfieran sin ambigüedades de una cultura a otra. [38] Los instrumentos de recopilación de datos que no han sido sometidos a pruebas y pilotos adecuados pueden, por lo tanto, generar resultados que no sean útiles, ya que los conceptos que mide el instrumento pueden haber adquirido un significado diferente y, por lo tanto, hacer que el instrumento sea poco confiable e inválido. [38]
Por lo tanto, se puede ver que los evaluadores deben tener en cuenta los desafíos metodológicos creados por las diferencias en cultura e idioma al intentar realizar una evaluación de programa en un país en desarrollo.
Hay tres usos convencionales de los resultados de la evaluación: utilización persuasiva , utilización directa (instrumental) y utilización conceptual .
La utilización persuasiva es la utilización de los resultados de la evaluación en un esfuerzo por persuadir a una audiencia para que apoye una agenda o se oponga a ella. A menos que el "persuasor" sea la misma persona que realizó la evaluación, esta forma de utilización no es de mucho interés para los evaluadores, ya que a menudo no pueden prever posibles esfuerzos futuros de persuasión. [8]
Los evaluadores a menudo adaptan sus evaluaciones para producir resultados que pueden tener una influencia directa en la mejora de la estructura o del proceso de un programa. Por ejemplo, la evaluación de una intervención educativa novedosa puede producir resultados que no indiquen ninguna mejora en las calificaciones de los estudiantes. Esto puede deberse a que la intervención no tiene una base teórica sólida, o puede ser que la intervención no se lleve a cabo como se pretendía originalmente. Se espera que los resultados de la evaluación hagan que los creadores de la intervención vuelvan a la mesa de dibujo para recrear la estructura central de la intervención, o incluso cambiar los procesos de implementación. [8]
Pero incluso si los resultados de la evaluación no tienen una influencia directa en la remodelación de un programa, aún pueden usarse para concienciar a la gente sobre los problemas que el programa intenta abordar. Volviendo al ejemplo de la evaluación de una intervención educativa novedosa, los resultados también pueden utilizarse para informar a educadores y estudiantes sobre las diferentes barreras que pueden influir en las dificultades de aprendizaje de los estudiantes. Esta nueva información podría entonces iniciar una serie de estudios sobre estas barreras. [8]
Hay cinco condiciones que parecen afectar la utilidad de los resultados de la evaluación, a saber, la relevancia , la comunicación entre los evaluadores y los usuarios de los resultados , el procesamiento de la información por parte de los usuarios , la plausibilidad de los resultados , así como el nivel de participación o promoción de los resultados. Los usuarios . [8]
Citado directamente de Rossi et al. (2004, p. 416): [8]
La elección del evaluador elegido para evaluar el programa puede considerarse tan importante como el proceso de evaluación. Los evaluadores pueden ser internos (personas asociadas al programa a ejecutar) o externos (Personas no asociadas a ninguna parte de la ejecución/implementación del programa). (División de servicios de supervisión, 2004). A continuación se proporciona un breve resumen de las ventajas y desventajas de los evaluadores internos y externos adaptado de la División de Servicios de Supervisión (2004), para una lista más completa de las ventajas y desventajas de los evaluadores internos y externos, ver (División de Servicios de Supervisión, 2004 ).
Ventajas
Desventajas
Ventajas
Desventajas
Potter (2006) [39] identifica y describe tres paradigmas amplios dentro de la evaluación de programas. El primero, y probablemente el más común, es el enfoque positivista , en el que la evaluación sólo puede realizarse cuando hay aspectos "objetivos", observables y mensurables de un programa, que requieren evidencia predominantemente cuantitativa. El enfoque positivista incluye dimensiones de evaluación como la evaluación de necesidades, la evaluación de la teoría del programa, la evaluación del proceso del programa, la evaluación del impacto y la evaluación de la eficiencia (Rossi, Lipsey y Freeman, 2004). [40] Un ejemplo detallado del enfoque positivista es un estudio realizado por el informe del Instituto de Políticas Públicas de California titulado "Evaluación de programas académicos en los colegios comunitarios de California", en el que los evaluadores examinan actividades mensurables (es decir, datos de inscripción) y realizan evaluaciones cuantitativas como análisis factorial. [41]
El segundo paradigma identificado por Potter (2006) es el de los enfoques interpretativos, donde se sostiene que es esencial que el evaluador desarrolle una comprensión de la perspectiva, experiencias y expectativas de todas las partes interesadas. Esto conduciría a una mejor comprensión de los diversos significados y necesidades de las partes interesadas, lo cual es crucial antes de poder emitir juicios sobre el mérito o el valor de un programa. El contacto del evaluador con el programa suele ser durante un período prolongado y, aunque no existe un método estandarizado, comúnmente se utilizan la observación, las entrevistas y los grupos focales. Un informe encargado por el Banco Mundial detalla ocho enfoques en los que se pueden integrar métodos cualitativos y cuantitativos y tal vez arrojar conocimientos que no se pueden lograr mediante un solo método. [42]
Potter (2006) también identifica enfoques crítico-emancipadores para la evaluación de programas, que se basan en gran medida en la investigación-acción con fines de transformación social. Este tipo de enfoque es mucho más ideológico y a menudo incluye un mayor grado de activismo social por parte del evaluador. Este enfoque sería apropiado para evaluaciones cualitativas y participativas. Debido a su enfoque crítico en las estructuras de poder social y su énfasis en la participación y el empoderamiento, Potter sostiene que este tipo de evaluación puede ser particularmente útil en los países en desarrollo.
A pesar del paradigma que se utiliza en cualquier evaluación de programas, ya sea positivista, interpretativo o crítico-emancipador, es esencial reconocer que la evaluación tiene lugar en contextos sociopolíticos específicos. La evaluación no existe en el vacío y todas las evaluaciones, sean conscientes de ello o no, están influenciadas por factores sociopolíticos. Es importante reconocer que las evaluaciones y los hallazgos que resultan de este tipo de proceso de evaluación pueden usarse a favor o en contra de agendas ideológicas, sociales y políticas particulares (Weiss, 1999). [43] Esto es especialmente cierto en una época en la que los recursos son limitados y hay competencia entre organizaciones para que ciertos proyectos tengan prioridad sobre otros (Louw, 1999). [44]
La evaluación de empoderamiento hace uso de conceptos, técnicas y hallazgos de evaluación para fomentar la mejora y la autodeterminación de un programa particular dirigido a una población objetivo específica/participantes del programa. [45] La evaluación del empoderamiento está orientada a lograr que los participantes del programa se involucren en lograr cambios en los programas a los que están dirigidos. Uno de los principales enfoques en la evaluación del empoderamiento es incorporar a los participantes del programa en la conducción del proceso de evaluación. Este proceso suele ir seguido de algún tipo de reflexión crítica del programa. En tales casos, un evaluador externo actúa como consultor/entrenador/facilitador para los participantes del programa y busca comprender el programa desde la perspectiva de los participantes. Una vez que se ha obtenido una comprensión clara de la perspectiva de los participantes, se pueden diseñar los pasos y estrategias apropiados (con el valioso aporte de los participantes) e implementarlos para alcanzar los resultados deseados.
Según Fetterman (2002) [45] la evaluación del empoderamiento tiene tres pasos;
El primer paso implica que los evaluadores pidan a los participantes del programa y a los miembros del personal (del programa) que definan la misión del programa. Los evaluadores pueden optar por llevar a cabo este paso reuniendo a dichas partes y pidiéndoles que generen y discutan la misión del programa. La lógica detrás de este enfoque es mostrar a cada parte que puede haber puntos de vista divergentes sobre cuál es realmente la misión del programa.
Hacer un balance como segundo paso consta de dos tareas importantes. La primera tarea se refiere a que los participantes y el personal del programa generen una lista de actividades clave actuales que son cruciales para el funcionamiento del programa. La segunda tarea se refiere a calificar las actividades clave identificadas, también conocida como priorización . Por ejemplo, se puede pedir a cada miembro del grupo que califique cada actividad clave en una escala del 1 al 10, donde 10 es la más importante y 1 la menos importante. El papel del evaluador durante esta tarea es facilitar la discusión interactiva entre los miembros en un intento de establecer una base de significado y comprensión compartidos relacionados con las actividades clave. Además, se puede incluir en la discusión documentación relevante (como informes financieros e información curricular) al considerar algunas de las actividades clave.
Después de priorizar las actividades clave, el siguiente paso es planificar el futuro. Aquí el evaluador pregunta a los participantes y al personal del programa cómo les gustaría mejorar el programa en relación con las actividades clave enumeradas. El objetivo es crear un hilo de coherencia mediante el cual la misión generada (paso 1) oriente el balance (paso 2) que forma la base de los planes para el futuro (paso 3). Por lo tanto, en la planificación para el futuro, los objetivos específicos están alineados con las actividades clave relevantes. Además de esto, también es importante que los participantes y el personal del programa identifiquen posibles formas de evidencia (indicadores mensurables) que puedan usarse para monitorear el progreso hacia metas específicas. Las metas deben estar relacionadas con las actividades, talentos, recursos y alcance de la capacidad del programa; en resumen, las metas formuladas deben ser realistas.
Estos tres pasos de la evaluación del empoderamiento producen el potencial para que un programa se ejecute de manera más efectiva y más en contacto con las necesidades de la población objetivo. La evaluación para el empoderamiento, como proceso facilitado por un evaluador capacitado, equipa y empodera a los participantes proporcionándoles una "nueva" forma de pensar y reflexionar críticamente sobre los programas. Además, permite a los participantes y al personal del programa reconocer su propia capacidad para lograr cambios en el programa a través de la acción colectiva. [46]
El paradigma transformador es fundamental para incorporar la justicia social en la evaluación. Donna Mertens, investigadora principal en este campo, afirma que el paradigma transformador "se centra principalmente en los puntos de vista de los grupos marginados y en interrogar las estructuras de poder sistémicas a través de métodos mixtos para promover la justicia social y los derechos humanos". [47] El paradigma transformador surgió después de que grupos marginados, que históricamente han sido marginados en la evaluación, comenzaron a colaborar con académicos para abogar por la justicia social y los derechos humanos en la evaluación. El paradigma transformador introduce muchos paradigmas y lentes diferentes en el proceso de evaluación, lo que lo lleva a cuestionarlo continuamente.
Tanto la Asociación Estadounidense de Evaluación como la Asociación Nacional de Trabajadores Sociales llaman la atención sobre el deber ético de poseer competencia cultural al realizar evaluaciones. La competencia cultural en la evaluación puede definirse en términos generales como una indagación de respuesta sistémica que reconoce, comprende y aprecia activamente el contexto cultural en el que tiene lugar la evaluación; que enmarca y articula la epistemología del esfuerzo de evaluación; que emplee una metodología cultural y contextualmente apropiada; y que utilice medios interpretativos generados por las partes interesadas para llegar a los resultados y utilizarlos en el futuro. [48] Muchos líderes de salud y evaluación son cuidadosos al señalar que la competencia cultural no puede determinarse mediante una simple lista de verificación, sino que es un atributo que se desarrolla con el tiempo. La raíz de la competencia cultural en la evaluación es un respeto genuino por las comunidades que se estudian y la apertura para buscar profundidad en la comprensión de diferentes contextos, prácticas y paradigmas de pensamiento culturales. Esto incluye ser creativo y flexible para capturar diferentes contextos culturales y una mayor conciencia de las diferencias de poder que existen en un contexto de evaluación. Las habilidades importantes incluyen: capacidad para establecer una buena relación a través de las diferencias, ganarse la confianza de los miembros de la comunidad y autorreflexionar y reconocer los propios prejuicios. [49]
Los paradigmas axiología , ontología , epistemología y metodología reflejan la práctica de la justicia social en la evaluación. Estos ejemplos se centran en abordar las desigualdades e injusticias en la sociedad promoviendo la inclusión y la igualdad en los derechos humanos.
El supuesto axiológico del paradigma transformador se basa en cuatro principios fundamentales: [47]
Las diferencias en las perspectivas sobre lo que es real están determinadas por diversos valores y experiencias de vida. A su vez, estos valores y experiencias de vida a menudo se asocian con diferencias en el acceso a privilegios, basados en características tales como discapacidad, género, identidad sexual, religión, raza/etnicidad, orígenes nacionales, partido político, nivel de ingresos, edad, idioma e inmigración. o condición de refugiado. [47]
El conocimiento se construye dentro del contexto de poder y privilegio con consecuencias asociadas a qué versión del conocimiento se le otorga privilegio. [47] "El conocimiento se sitúa social e históricamente dentro de un contexto cultural complejo". [50]
Las decisiones metodológicas tienen como objetivo determinar el enfoque que facilitará mejor el uso del proceso y los hallazgos para mejorar la justicia social; identificar las fuerzas sistémicas que apoyan el status quo y aquellas que permitirán que se produzca el cambio; y reconocer la necesidad de una relación crítica y reflexiva entre el evaluador y las partes interesadas. [47]
Mientras operamos a través de la justicia social, es imperativo poder ver el mundo a través del lente de quienes experimentan injusticias. La teoría crítica de la raza, la teoría feminista y la teoría queer/LGBTQ son marcos de cómo pensamos que otros deberían pensar acerca de brindar justicia a los grupos marginados. Estos lentes crean oportunidades para hacer que cada teoría sea una prioridad al abordar la desigualdad.
La Teoría Crítica de la Raza (CRT) es una extensión de la teoría crítica que se centra en las desigualdades basadas en la raza y el origen étnico. Daniel Solórzano describe el papel de la CRT como un marco para investigar y hacer visibles aquellos aspectos sistémicos de la sociedad que permiten que continúe el status quo discriminatorio y opresivo del racismo. [51]
La esencia de las teorías feministas es "exponer las prácticas individuales e institucionales que han negado el acceso a las mujeres y otros grupos oprimidos y han ignorado o devaluado a las mujeres" [52]
Los teóricos queer/LGBTQ cuestionan el sesgo heterosexista que impregna la sociedad en términos de poder y discriminación hacia las minorías de orientación sexual. Debido a la sensibilidad de las cuestiones relacionadas con el estatus LGBTQ, los evaluadores deben conocer formas seguras de proteger las identidades de dichas personas y garantizar que las prácticas discriminatorias salgan a la luz para lograr una sociedad más justa. [47]
Dado el déficit presupuestario federal, la administración Obama decidió aplicar un "enfoque basado en evidencia" al gasto gubernamental, incluidos métodos rigurosos de evaluación de programas. El presupuesto del Presidente para 2011 destinó fondos a 19 evaluaciones de programas gubernamentales para agencias como el Departamento de Educación y la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID). Un grupo interinstitucional cumple el objetivo de aumentar la transparencia y la rendición de cuentas mediante la creación de redes de evaluación efectivas y aprovechando las mejores prácticas. [53] Un marco de seis pasos para realizar la evaluación de programas de salud pública, publicado por los Centros para el Control y la Prevención de Enfermedades (CDC), inicialmente aumentó el énfasis en la evaluación de programas gubernamentales en los EE. UU. El marco es el siguiente:
En enero de 2019, la Ley de Fundamentos para la Elaboración de Políticas Basadas en Evidencia introdujo nuevos requisitos para las agencias federales, como el nombramiento de un Director de Evaluación. La guía publicada por la Oficina de Gestión y Presupuesto sobre la implementación de esta ley requiere que las agencias desarrollen una agenda de aprendizaje plurianual, que tiene preguntas específicas que la agencia quiere responder para mejorar los resultados estratégicos y operativos. [54] Las agencias también deben completar un plan de evaluación anual que resuma las evaluaciones específicas que la agencia planea realizar para abordar las preguntas de la agenda de aprendizaje.
Hay muchos enfoques diferentes para la evaluación de programas. Cada uno tiene un propósito diferente.
El modelo de evaluación CIPP fue desarrollado por Daniel Stufflebeam y sus colegas en la década de 1960. CIPP es un acrónimo de Contexto, Entrada, Proceso y Producto. CIPP es un modelo de evaluación que requiere la evaluación del contexto , los insumos , el proceso y el producto para juzgar el valor de un programa. CIPP es un enfoque de evaluación centrado en las decisiones y enfatiza el suministro sistemático de información para la gestión y operación del programa . [55]
El marco CIPP se desarrolló como un medio para vincular la evaluación con la toma de decisiones del programa . Su objetivo es proporcionar una base analítica y racional para la toma de decisiones programáticas, basada en un ciclo de planificación, estructuración, implementación y revisión de decisiones, cada una examinada a través de un aspecto diferente de la evaluación: contexto, insumos, procesos y evaluación de productos. [55]
El modelo CIPP es un intento de hacer que la evaluación sea directamente relevante para las necesidades de los tomadores de decisiones durante las fases y actividades de un programa. [55] El modelo de evaluación de contexto, insumos , procesos y productos (CIPP) de Stufflebeam se recomienda como marco para guiar sistemáticamente la concepción, diseño, implementación y evaluación de proyectos de aprendizaje-servicio, y proporcionar retroalimentación y juicio sobre la efectividad del proyecto para mejora continua. [55]
Estos aspectos son contexto, insumos, proceso y producto. Estos cuatro aspectos de la evaluación CIPP ayudan a quienes toman decisiones a responder cuatro preguntas básicas:
Esto implica recopilar y analizar datos de evaluación de necesidades para determinar metas, prioridades y objetivos. Por ejemplo, una evaluación del contexto de un programa de alfabetización podría implicar un análisis de los objetivos existentes del programa de alfabetización, los puntajes de las pruebas de rendimiento en alfabetización, las preocupaciones del personal (generales y particulares), las políticas y planes de alfabetización y las preocupaciones, percepciones o actitudes y necesidades de la comunidad. [55]
Esto implica los pasos y recursos necesarios para alcanzar las nuevas metas y objetivos y podría incluir la identificación de programas y materiales externos exitosos, así como la recopilación de información. [55]
Esto proporciona a los tomadores de decisiones información sobre qué tan bien se está implementando el programa. Al monitorear continuamente el programa, los tomadores de decisiones aprenden cosas tales como qué tan bien se están siguiendo los planes y pautas, los conflictos que surgen, el apoyo y la moral del personal, las fortalezas y debilidades de los materiales, y los problemas de entrega y presupuesto. [55]
Al medir los resultados reales y compararlos con los resultados previstos, los responsables de la toma de decisiones están en mejores condiciones de decidir si el programa debe continuar, modificarse o abandonarse por completo. Ésta es la esencia de la evaluación de productos. [55]
Como guía de evaluación , el modelo CIPP permite a los evaluadores evaluar el programa en diferentes etapas, a saber: antes de que comience el programa, ayudando a los evaluadores a evaluar la necesidad y al final del programa para evaluar si el programa tuvo o no un efecto.
El modelo CIPP permite a los evaluadores hacer preguntas formativas al comienzo del programa y luego respalda la evaluación del impacto del programa mediante la formulación de preguntas sumativas sobre todos los aspectos del programa.
{{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: location missing publisher (link) CS1 maint: multiple names: authors list (link){{cite book}}: CS1 maint: multiple names: authors list (link)