Follow Through fue el proyecto experimental más grande y más costoso en educación financiado por el gobierno federal de los EE. UU. que se haya llevado a cabo jamás. La evaluación más extensa de los datos de Follow Through cubre los años 1968-1977; sin embargo, el programa continuó recibiendo financiación del gobierno hasta 1995. [1] : 7 Follow Through originalmente estaba destinado a ser una extensión del programa federal Head Start , que brindaba servicios educativos, de salud y sociales a niños en edad preescolar típicamente desfavorecidosy sus familias. La función de Follow Through , por lo tanto, era brindar una continuación de estos servicios a los estudiantes en sus primeros años de primaria.
En el discurso sobre el estado de la nación de 1967 del presidente Lyndon B. Johnson , propuso 120 millones de dólares para el programa, con el fin de atender a aproximadamente 200.000 niños de entornos desfavorecidos. Sin embargo, cuando el Congreso de los Estados Unidos aprobó la financiación del proyecto , se autorizó una fracción de esa cantidad (apenas 15 millones de dólares). Esto hizo necesario un cambio de estrategia por parte de la Oficina de Oportunidades Económicas (OEO), la agencia gubernamental encargada de supervisar el programa [1] : 3–4 [2] : 2 [3] : 4 En cambio, los administradores del programa tomaron la "brillante decisión... (de) convertir Follow Through de un programa de servicio a un programa de investigación y desarrollo". [4] : 5
Los planificadores de Follow Through sintieron que estaban respondiendo a un desafío importante en la educación de los estudiantes desfavorecidos. En general, se planteó la hipótesis de que la mera provisión de apoyos específicos en forma de programas compensatorios federales (como Head Start y el Título I de la Ley de Educación Primaria y Secundaria ) daría como resultado un mayor rendimiento académico para los niños desfavorecidos, si se implementaban fielmente por maestros comprometidos. Sin embargo, los estudios habían demostrado que, a pesar de sus éxitos, en general, cualquier avance que los niños lograran con Head Start (en las medidas de rendimiento académico) "se desvanecía" durante los primeros años de la escuela primaria . [5] : 4 [2] : 1 No estaba claro para los responsables de las políticas y otros si la experiencia de la escuela primaria en sí misma causaba este fenómeno, o si los enfoques específicos de instrucción dentro de las escuelas eran el problema. Follow Through pretendía resolver el problema identificando qué enfoques de currículo e instrucción de toda la escuela funcionaban y cuáles no. Posteriormente, el gobierno promulgaría modelos efectivos como ejemplos de métodos innovadores y probados para aumentar el rendimiento académico de los estudiantes históricamente desfavorecidos.
Concebido e implementado en medio de la campaña de la Guerra contra la Pobreza del Presidente Johnson de la década de 1960, Follow Through "surgió de un plan más amplio que intentó exponer las causas y curas de la pobreza en la sociedad estadounidense sobre una base sistémica". [4] : 2 Además de la histórica Ley de Educación Primaria y Secundaria de 1965 , otras iniciativas incluyeron políticas económicas diseñadas para mantener niveles altos de empleo y capacitación laboral subsidiada por el gobierno federal específicamente dirigida a personas de entornos desfavorecidos. Estos programas se implementaron en medio de la era turbulenta de las décadas de 1960 y 1970; marcada por las luchas y la eventual emancipación de una serie de grupos anteriormente excluidos "incluidos afroamericanos , feministas , hispanos , nativos americanos y padres de niños discapacitados ". [6] : 293 [7] : 26
En los experimentos científicos típicos, los grupos de tratamiento y control se seleccionan mediante una asignación aleatoria. Debido a que Follow Through fue un experimento diseñado para evaluar la eficacia de una serie de intervenciones en distritos locales, los distritos eligieron las intervenciones que querían implementar en sus escuelas. Este método de selección de una intervención deseada entre varias candidatas se denomina variación planificada. Una publicación se refiere a ella como "innovación aleatoria". [6] : 292 Se pensaba que la variación planificada era ventajosa sobre la asignación aleatoria porque daba a las comunidades locales (por ejemplo, miembros de la comunidad, padres, administradores y maestros) un elemento de control local sobre la implementación de su programa. [8] : 187, 190 [9] De hecho, Hill creía que programas como Follow Through "pueden ser... fuentes permanentes de presión de defensa en nombre de los objetivos y los beneficiarios de los programas federales". [10] : 7
Follow Through , al igual que Head Start , tenía un alcance enorme y estaba diseñado para remediar el hecho de que "los niños pobres tienden a tener un mal desempeño en la escuela". [2] : xxxiii A pesar del recorte en la financiación, sin embargo, atendió a un número sustancial de estudiantes. En su apogeo, el programa crecería hasta abarcar 20 intervenciones patrocinadas diferentes y aproximadamente 352.000 niños de Follow Through y de comparación en 178 proyectos en todo el país. [1] : 7 [2] : xix, 19
Además de identificar las prácticas de enseñanza más eficaces y difundirlas en las escuelas y los distritos, también se esperaba que Follow Through ayudara a reducir la cantidad de programas de intervención federal potencialmente conflictivos en las escuelas, lo que algunos consideraban contraproducente y costoso. [10] : 12, 20 Además, si se pudieran identificar modelos que fueran eficaces con los niños necesitados, estas intervenciones también podrían llevarse a cabo en las aulas de educación regular. [10] : 20
Debido a que Follow Through surgió como resultado de una acción ejecutiva y no legislativa, el control general del programa recaía en la Oficina de Oportunidades Económicas (OEO) de Johnson, que encabezó la política de guerra contra la pobreza de Johnson. Un componente importante de la política era la participación comunitaria. El Programa de Acción Comunitaria (CAP) se encargó de cumplir esta función mediante el establecimiento de agencias y programas locales que llevaron a cabo varias iniciativas patrocinadas por el gobierno federal para las poblaciones desfavorecidas. Sin embargo, el CAP (y, en cierta medida, la OEO) cayeron en descrédito entre los legisladores y otros, porque "resultó en la movilización política de los pobres y el debilitamiento de las agencias gubernamentales locales ". [3] : 4–5 Follow Through tenía la intención de ser una extensión del programa de acción comunitaria Head Start . Dado que Head Start era políticamente popular, un programa asociado con Head Start pondría a la OEO "de nuevo en las buenas gracias del Congreso". [3] : 5 Aunque Follow Through , al igual que Head Start , fue concebido inicialmente como un programa de acción social, la decisión de transformar Follow Through de un programa de acción social a un experimento social no se modificó en consecuencia en la legislación del Congreso. [4] : 4–5
El personal de Head Start siguió involucrado en el diseño e implementación de Follow Through , aunque parecía que estaban trabajando en extremos separados del grupo de planificación de la OEO, que veía a Follow Through como una investigación empírica. [1] : 8 Gran parte de lo que ocurrió durante la etapa de planificación, que Egbert describe "como un momento de prisa y confusión", fue un intento de satisfacer a los grupos de interés de ambas perspectivas. [1] : 9
Debido en gran medida al contexto sociocultural en el que nació Follow Through , los planificadores estructuraron deliberadamente el programa para minimizar la participación de funcionarios federales en el esfuerzo de implementación. [3] : 16 [8] : 191 Cuanto más se pudiera percibir a Follow Through como un esfuerzo controlado localmente, mejor. La OEO esperaba "idealmente" que Follow Through pudiera satisfacer propósitos tanto empíricos como de acción social. [1] : 4 [10] : 8, 10
Parece dudoso que cualquier forma de experimento pueda servir de manera realista y fiel a ambos objetivos. Según Hill, los verdaderos evaluadores de programas deberían ser "técnicos en lugar de políticos o programáticos, y sus actitudes deberían ser escépticas y desapasionadas". [10] : 8–9 El grupo de planificación de la OEO quería una verdadera investigación empírica que determinara los modelos más eficaces. Por el contrario, el personal de CAP y Head Start que asesoraba a los planificadores de Follow Through lo veía como un programa social. Por lo tanto, "ninguno de los grupos constituyentes estaba completamente satisfecho con esta solución". [1] : 4–5
Además de que los planificadores de Follow Through tenían opiniones contradictorias sobre el verdadero propósito del programa, la selección de patrocinadores fue igualmente imprecisa. Los patrocinadores de Follow Through eran una mezcla ecléctica de individuos o grupos que realizaban investigaciones sobre métodos de enseñanza. Algunos provenían de universidades, incluidas escuelas de educación . Otros estaban involucrados en esfuerzos de investigación privados o basados en subvenciones. [3] : 16 El método de selección no estaba claro. Según Watkins, "aparentemente se extendieron invitaciones a cualquier grupo que realizara investigaciones sobre métodos de enseñanza". [3] : 16
Algunos de los patrocinadores habían desarrollado intervenciones bastante bien basadas en teorías de instrucción. Otros simplemente tenían ideas sobre lo que podría constituir intervenciones efectivas. Los patrocinadores también diferían ampliamente en los resultados que esperaban como resultado de sus programas. Algunos patrocinadores tenían metas muy específicas que creían que conducirían a resultados muy específicos, como la mejora de las habilidades de alfabetización en las mediciones de rendimiento en lectura. Otros tenían metas más generales, como el aumento de la autoestima o una mayor participación de los padres en la escolarización. La mayoría de los programas estaban en una etapa muy temprana de desarrollo y no habían sido probados en el campo o puestos a prueba de manera extensa (o incluso moderada). Algunos programas eran tan ambiguos que Elmore escribió que "la mayoría de los desarrolladores de programas simplemente no tenían claro cómo serían realmente sus programas en una forma completamente operativa". [8] : 199 Muchos patrocinadores no pudieron explicar con precisión qué aspectos de sus modelos conducirían a los objetivos de resultados declarados del modelo. [ cita requerida ]
A pesar de las ambigüedades entre muchos de los modelos (y los pequeños matices de distinción entre algunos modelos), la literatura de Follow Through clasificó los modelos según el grado de estructura que ofrecían y dónde ponían énfasis en el aprendizaje.
El "grado de estructura" (por ejemplo, "bajo", "medio" o "alto") que ofrece un modelo en particular se evidencia en la precisión con la que se instruyó a los maestros para que se adhirieran a procedimientos específicos, que incluyen: formas de organizar el aula y de impartir la instrucción, el grado de interacción entre adultos y niños, el nivel de participación de los padres, etc. A continuación se presentan breves ejemplos de dos modelos que representan los extremos del espectro.
Modelo de instrucción directa . Desarrollado por Siegfried Engelmann y Wesley Becker de la Universidad de Oregon , la instrucción directa está escrita y especifica con precisión lo que dice el maestro y cuáles deben ser las respuestas de los estudiantes. Además, los diseñadores del programa secuenciaron cuidadosamente la instrucción para que los estudiantes no progresen a habilidades de orden superior a menos que hayan dominado las habilidades básicas requeridas. Existe un alto grado de interacción entre maestros y estudiantes para que el maestro pueda recibir retroalimentación continua sobre el desempeño de los estudiantes y ajuste la instrucción en consecuencia. El programa hace una distinción específica entre el comportamiento centrado en la tarea y el comportamiento fuera de ella: la instrucción está organizada de modo que los estudiantes estén completamente involucrados en el aprendizaje (a través de frecuentes comprobaciones de comprensión y elogios por parte del maestro) la mayor parte del tiempo. Según los patrocinadores del programa, todo lo que se supone que los estudiantes han aprendido debe ser enseñado primero por el maestro. [5] : 8
Modelo Bank Street . El modelo Bank Street fue desarrollado por Elizabeth Gilkerson y Herbert Zimiles del Bank Street College of Education de Nueva York. En este modelo, los propios estudiantes dirigen el aprendizaje: seleccionan las tareas en las que desean participar, solos o con compañeros. El maestro organiza el aula de manera que los patrocinadores crean que crearán las condiciones para un aprendizaje exitoso: hay varios objetos y medios disponibles para que los niños interactúen con ellos, y el maestro actúa como facilitador, guiando a los estudiantes a través de las actividades. Según los patrocinadores del programa, los estudiantes usan el conocimiento aprendido previamente para construir nuevos conocimientos. Según los patrocinadores, dado un entorno seguro y estable, el aprendizaje es un proceso que ocurre naturalmente. [5] : 10–11
En su evaluación de las facetas operativas de Follow Through , Elmore expresó su preocupación por los matices de distinción entre los modelos en términos de estructura que hacían que las comparaciones y el análisis final entre los modelos fueran problemáticos. [8] Las descripciones de las intervenciones se derivaron de los propios patrocinadores. No había otra fuente confiable de la cual los administradores del programa pudieran obtener información sobre ellas. Si hubieran podido ver ejemplos de los diferentes modelos que se estaban implementando, tal vez hubieran podido hacer preguntas aclaratorias para poder distinguirlos mejor, lo que podría haber sido importante para los fines de la evaluación.
Los modelos de programa también se clasificaron según el énfasis que ponen en el aprendizaje, según tres orientaciones educativas: habilidades básicas, habilidades conceptuales cognitivas y comportamiento afectivo/cognitivo (véase también el Apéndice A).
A pesar de las diferencias, hubo puntos de acuerdo entre todos los patrocinadores. Los patrocinadores estuvieron de acuerdo en que sus intervenciones deberían ser apropiadas para el desarrollo, es decir, los modelos deben tener en cuenta dónde se encuentran los estudiantes en su desarrollo como estudiantes. En segundo lugar, todos estuvieron de acuerdo en que la enseñanza y el aprendizaje deben responder a las necesidades de los estudiantes individuales. En tercer lugar, estuvieron de acuerdo en que todos los estudiantes, incluso aquellos de los entornos más desfavorecidos, pueden aprender al nivel de sus compañeros más afortunados. En cuarto lugar, se debe enfatizar los procedimientos de gestión del aula que crean un entorno de aprendizaje apropiado. En quinto lugar, la escuela debe ser un lugar donde los estudiantes experimenten tanto una alta autoestima como éxito académico. Irónicamente, el último punto de acuerdo, en lo que respecta a Maccoby y Zellner, fue que todas las intervenciones deben tener objetivos muy claros sobre el contenido y las habilidades que los estudiantes deben saber y ser capaces de hacer. [5] : 23–25 Este último detalle vale la pena destacar por dos razones. Primero, los objetivos de resultados del programa proporcionados por los patrocinadores parecían relativamente amplios. Por ejemplo, los patrocinadores del Modelo de Educación Temprana de Tucson explican que "hay relativamente menos énfasis en qué elementos se enseñan y en la transmisión de contenido específico, y más énfasis en 'aprender a aprender'". [5] : 15–16 De la misma manera, los maestros del Currículo Cognitivo diseñan sus propios enfoques de instrucción (incluida la especificación de objetivos de aprendizaje), con la ayuda de patrocinadores y compañeros de personal. [5] : 20–21 Si bien los objetivos de resultados podrían describirse comúnmente como altos niveles de logro académico o dominio de habilidades de pensamiento básicas y de orden superior, exactamente cómo los estudiantes demuestran estas habilidades falta en la literatura de Follow Through . Durante las reuniones de patrocinadores, hubo varias discusiones acaloradas entre algunos patrocinadores sobre el grado de especificidad con el que deberían vincular las facetas de sus modelos a los resultados o comportamientos de los estudiantes. [3] : 17 Los administradores de Follow Through no pudieron investigar los modelos más a fondo debido al tiempo limitado; de hecho, solo ocho meses separaron la selección del enfoque del modelo patrocinado y el inicio del experimento. Como el Congreso ya había reducido el presupuesto del programa, los planificadores tenían una preocupación legítima de que una demora en la implementación podría ser desastrosa para el programa. [8] : 174 Otra realidad era simplemente la falta de intervenciones alternativas. Como nunca antes se había hecho un experimento de tan gran escala en educación, la Oficina de Educación no tenía un arsenal de intervenciones para probar. [8] : 186
La selección de los sitios de implementación de Follow Through se realizó en conjunto con la selección de los modelos. Con la ayuda de varias agencias educativas estatales y federales, se invitó a 100 comunidades a postularse al programa, con base en los criterios establecidos por la OEO. Según Egbert, se postularon 90 distritos, de los cuales 30 fueron elegidos para participar en Follow Through . [1] : 9 Sin embargo, debido a la presión de políticos influyentes, más tarde se agregaron sitios adicionales. No es coincidencia que la inclusión de varios distritos adicionales parezca haber sido un intento de satisfacer a varias figuras políticas locales al incluir sus comunidades en el programa. [1] : 9
Aunque Elmore lamenta que los sitios podrían haber sido elegidos con un mayor grado de rigor científico (por ejemplo, un muestreo aleatorio estratificado), esto fue imposible, al menos por dos razones. En primer lugar, los administradores de Follow Through tenían la obligación de seleccionar un número mínimo de sitios con programas Head Start , porque el propósito ostensible de Follow Through era complementar Head Start . En segundo lugar, además de las presiones políticas, las comunidades tenían que estar dispuestas a participar en el proceso (aparentemente) para preservar la fidelidad de las implementaciones. En este punto, Elmore tiende a estar de acuerdo. [8] : 215
Debido a la variedad de modelos, se seleccionó una amplia gama de instrumentos y métodos analíticos para medir los resultados previstos de las habilidades básicas, el comportamiento afectivo y el comportamiento cognitivo. Adams y Engelmann escribieron: "aunque los críticos se han quejado de la selección de pruebas y generalmente han sugerido más pruebas, el esfuerzo de evaluación en este estudio fue mucho más allá de cualquier otro estudio educativo realizado antes o después". [11] : 71 En total, se seleccionaron 14 instrumentos y se administraron en varios momentos a lo largo de la participación de un estudiante en Follow Through . Tres grupos de estudiantes, conocidos como cohortes (es decir, cohortes I, II y III) fueron seguidos longitudinalmente desde el momento en que ingresaron a Follow Through (por ejemplo, jardín de infantes o grado 1) hasta que salieron del programa (grado 3). Si bien los autores del informe Follow Through calificaron los instrumentos como de alta confiabilidad, algunos patrocinadores cuestionaron la validez de los instrumentos para medir las variadas orientaciones de los modelos. [2] Otros críticos, como House et al. en un análisis financiado y ampliamente difundido por la Fundación Ford , también criticaron los instrumentos. [12] [13] Sin embargo, los evaluadores creyeron que la batería de instrumentos representaba el "mejor compromiso" dada la gama de modelos. [2] : 35, 43 A pesar del número relativamente grande de estudiantes que participaron en Follow Through , los evaluadores impusieron restricciones rigurosas en la muestra que realmente estaba en el análisis estadístico. El grupo de comparación (estudiantes de la comunidad identificados como no participantes en Follow Through ) no estuvo sujeto exactamente a las mismas restricciones que el grupo de control, siempre que ingresaran y salieran de la escuela en los mismos distritos y al mismo tiempo que los estudiantes de Follow Through .
Debido a la cantidad de sitios de intervención y la variedad de instrumentos, el análisis fue complejo y extenso. Según Watkins, hubo más de 2000 comparaciones entre los grupos Follow Through y los que no lo fueron . [3] : 32 En 1968, el Stanford Research Institute (SRI) recibió el contrato para la evaluación de Follow Through . Sin embargo, debido a una variedad de factores (incluido, quizás, el hecho de que el SRI subestimó la complejidad que implicaba un análisis tan completo), Abt Associates, Inc. heredó más tarde las tareas de evaluación en el verano de 1972. El resumen de los resultados, titulado Education as Experimentation: A Planned Variation Model (La educación como experimentación: un modelo de variación planificada) se publicó en 1977. [2]
El objetivo empírico de la evaluación Follow Through fue determinar qué modelos fueron efectivos para aumentar el rendimiento de los estudiantes en los tres dominios, como se evidencia por los efectos positivos utilizando los instrumentos seleccionados. Dentro de los modelos, los evaluadores compararon el desempeño en los diversos instrumentos entre los grupos de comparación Follow Through (FT) y No Follow Through (NFT) en cada sitio. Dentro de los grupos, los evaluadores promediaron las puntuaciones de los estudiantes en cada medida (o variable de resultado) para obtener una puntuación de "grupo". Por lo tanto, las puntuaciones de grupo de los estudiantes FT se compararon con las puntuaciones de grupo de los estudiantes NFT. Los evaluadores emplearon una técnica de ajuste estadístico importante (y posteriormente controvertida) para "mejorar la integridad de los resultados". Debido a que había diferencias entre los grupos de tratamiento y de comparación (por ejemplo, la puntuación promedio en una medida de resultado para un grupo NFT podría haber sido más alta que la puntuación promedio correspondiente para un grupo FT), los evaluadores emplearon un método estadístico conocido como análisis de covarianza (ANCOVA) para ajustar estas y otras diferencias. La diferencia entre los estudiantes FT y NFT se utilizó luego para medir los efectos de un modelo dado. [3] : 32–33 A los sitios donde los modelos cumplieron con el criterio de "eficacia educativa" se les asignó un valor de 1; a los efectos negativos se les asignó -1; y a los efectos nulos ("insignificantes desde el punto de vista educativo, estadístico o ambos") se les asignó un cero. [14] : 176 Según Elmore, los resultados ajustados utilizando la técnica ANCOVA deben interpretarse con cautela por dos razones. [8] : 329–330 En primer lugar, ANCOVA "no es un sustituto de la asignación aleatoria, pero se ha convertido en una técnica convencionalmente aceptada para manejar las diferencias iniciales de grupo en datos cuasiexperimentales". [8] : 329 En segundo lugar, cuanto mayores sean las diferencias iniciales entre los grupos de tratamiento y control, más débil será la solidez de los resultados. [8] : 329
Los resultados de Follow Through no mostraron cómo se podían mejorar los modelos que mostraban poco o ningún efecto, pero sí mostraron qué modelos, como sugerían las condiciones menos que ideales del experimento, tenían algunos indicios de éxito. De estos modelos, el método de instrucción directa de Siegfried Engelmann demostró los mayores avances en el estudio comparativo. La crítica más notable de Follow Through (descrita en detalle a continuación) cuestiona el hecho de que los modelos que mostraron efectos positivos fueron en gran medida modelos de habilidades básicas. Abt Associates identificó cinco hallazgos importantes relacionados con la cuestión de la efectividad diferencial de los modelos; los principales hallazgos empíricos del experimento se informaron de la siguiente manera: [2] : xxiv–xxviii
Un análisis independiente examinó el impacto del método de instrucción directa de Siegfried Engelmann en los estudiantes a lo largo de varias décadas. [15] Este análisis sugirió un beneficio a largo plazo. [15]
Wisler et al , en su revisión de la experiencia Follow Through , escribió que era probable que ningún otro dato educativo haya sido examinado más extensamente, a excepción de la Encuesta de Igualdad de Oportunidades Educativas. [14] : 177 Existen al menos tres reevaluaciones importantes de los datos Follow Through en la literatura: House, et al. (1978); [12] Bereiter y Kurland (1981); [16] y Kennedy (1981). [17] Todos confirman en gran medida el análisis estadístico original realizado por Abt Associates. En general, el consenso entre la mayoría de los investigadores es que los modelos estructurados tendían a funcionar mejor que los no estructurados, [4] : 13–14 y que los modelos de Instrucción Directa y Análisis de Conducta funcionaron mejor en los instrumentos empleados que los otros modelos. [6] : 302 [14] : 180 [11] : 72 ) La mayoría de las críticas al experimento Follow Through han tendido a centrarse en los problemas operativos y de diseño que plagaron el experimento. [8] En particular, estas críticas señalan que había más variación dentro de un modelo en particular que entre modelos. Este problema se ha atribuido en gran medida al problema de cómo medir la eficacia de una implementación particular; las medidas utilizadas fueron en gran medida cualitativas y anecdóticas. [2] En algunos casos, se incluyeron en el análisis sitios que habían dejado de implementar modelos específicos, o los patrocinadores de los modelos tenían serias reservas sobre la forma en que se implementaron modelos particulares. [18] [11] : 71
La crítica más viva fue la del reanálisis de House et al. (1978). El artículo, junto con varias refutaciones del equipo de evaluación original y otros investigadores, fue publicado por la Harvard Educational Review en 1978. Los autores estaban sumamente insatisfechos con el pronunciamiento de los evaluadores de que los modelos de habilidades básicas superaban a los otros modelos. Los autores abordan la crítica partiendo del supuesto de que las habilidades básicas son decididamente sólo eso: básicas. Los autores insinúan que las habilidades básicas sólo se enseñan mediante "métodos de memoria", una connotación decididamente negativa (p. 137).
En cuanto al hallazgo de que "los modelos que enfatizan las habilidades básicas produjeron mejores resultados en las pruebas de autoconcepto que otros modelos", [2] : xxvi los autores cuestionan la eficacia de las medidas de autoestima; implicando, entre otras cosas, que los estudiantes jóvenes no pueden tener una comprensión concreta del autoconcepto (pp. 138-139). Si bien el artículo pretendía revisar el diseño operativo de la evaluación Follow Through , en cambio parece (1) refutar el hallazgo de que los modelos cognitivo-conceptual y afectivo-cognitivo fueron en gran medida fracasos, y (2) condenar unilateralmente los modelos que enfatizan las habilidades básicas. La implicación es que el objetivo de la educación no debería ser aumentar el rendimiento de los estudiantes únicamente en habilidades básicas, y que Follow Through se habría empleado mejor para descubrir cómo las medidas de las tres orientaciones podrían lograr el éxito. En la crítica no se menciona el hallazgo de que, para los estudiantes de tercer grado, solo el modelo de instrucción directa demostró efectos positivos en los tres dominios, y que uno de los dos modelos restantes (Análisis de conducta; el otro era el modelo de educación para padres) que tuvo efectos positivos en al menos dos dominios también era un "modelo de habilidades básicas" autodenominado. [11] : 72
En 1972, la OE creó el Panel de Revisión de Diseminación Conjunta (JDRP) y la Red Nacional de Difusión (NDN) para difundir información sobre modelos efectivos a escuelas y distritos de todo el país. [3] : 47 [6] : 307 El JDRP revisó los programas para determinar su efectividad de acuerdo con una combinación de criterios empíricos y holísticos. La NDN fue responsable de difundir los resultados con base en las recomendaciones del JDRP. Watkins (1997) critica los criterios de difusión por dos razones. Primero, las organizaciones identificaron programas para difusión que no habían sido parte del experimento Follow Through y para los cuales no había una validación empírica. Segundo, el JDRP y la NDN avalaron programas que mostraban mejoras en áreas "tales como el autoconcepto, la actitud y la salud mental o física (de los estudiantes) ... (o) si tiene un impacto positivo en individuos distintos de los estudiantes, por ejemplo si resulta en una mejora en el comportamiento instructivo de los maestros" (p. 47), pero no aumentó el rendimiento académico de los estudiantes. Así, se recomendó la adopción de programas "que no habían demostrado un mejor rendimiento académico en la evaluación Follow Through " por parte de las escuelas y los distritos. Watkins cita al ex Comisionado de Educación, Ernest Boyer, quien escribió con consternación que "dado que sólo uno de los patrocinadores (Instrucción Directa) produjo resultados positivos de manera más consistente que cualquiera de los otros, sería inapropiado e irresponsable difundir información sobre todos los modelos". [3] : 48
Por supuesto, hubiera sido ideal tener el tipo de conclusividad asociada con los experimentos de laboratorio cuando realizamos experimentos sociales en comunidades y escuelas. Andy B. Anderson (1975) escribió que "la idea de un experimento controlado ha sido reconocida desde hace mucho tiempo como una meta que vale la pena perseguir en las ciencias sociales y del comportamiento por la misma razón obvia que hizo de este modo de investigación la estrategia de investigación predominante de las ciencias naturales y físicas: el experimento controlado permite la evaluación más inequívoca de la influencia de una variable sobre otra variable". [19] : 13 En particular, cuando la experimentación se utiliza como una herramienta para informar las decisiones políticas (por ejemplo, al recomendar la eficacia de algunos enfoques instructivos con estudiantes desfavorecidos sobre otras intervenciones menos efectivas), el diseño debe ser del mayor grado de rigor posible. Por una variedad de razones, Follow Through no tenía las características clásicas de un verdadero experimento.
Falta de selección sistemática de intervenciones y falta de especificidad de los efectos del tratamiento . Debido a una variedad de circunstancias detalladas anteriormente, los programas Follow Through no se desarrollaron ni seleccionaron sistemáticamente de acuerdo con ningún tipo de criterio uniforme. [4] : 6, 15 Si se hubiera dado más tiempo, los patrocinadores podrían haber sido capaces de identificar mejor los tipos de efectos del tratamiento que un observador podría esperar que se produjeran en condiciones controladas. Más importante aún, también se podría haber exigido a los patrocinadores del programa que mostraran aquellas facetas específicas de sus intervenciones (por ejemplo, técnicas pedagógicas particulares) que producirían los efectos previstos. A pesar de estos defectos, los patrocinadores acordaron estar sujetos a los mismos instrumentos de evaluación. Desafortunadamente, los instrumentos arrojaron poca luz sobre qué había en los programas ineficaces que los hacía tan poco exitosos. Lo inverso también es cierto. Dado que los programas estructurados tendían a mostrar mejores efectos que los no estructurados, parecería lógico que se hubieran hecho esfuerzos para identificar puntos en común entre los programas estructurados eficaces. Estas características compartidas podrían haber informado el desarrollo de programas eficaces adicionales o haber mejorado los enfoques ineficaces. De hecho, a partir de 1982, se redujo la financiación de aquellos programas que se identificaron como exitosos en Follow Through , tal vez bajo la presunción de que sería mejor desviarlos a ayudar a los programas fallidos. [3] En última instancia, los programas que tenían una validación empírica menor fueron, no obstante, recomendados para su difusión junto con los modelos exitosos.
Falta de asignación aleatoria . La asignación aleatoria de sujetos a grupos de tratamiento y control es el método ideal para atribuir el cambio en una muestra a una intervención y no a algún otro efecto (incluidas las capacidades preexistentes de los estudiantes, los maestros o los sistemas escolares). [4] : 15 Sin embargo, por diversas razones prácticas, este procedimiento no se realizó en Follow Through . [2] : 11 En cambio, los sitios se seleccionaron "oportunistamente", [3] : 19 en función de su disposición a participar en la evaluación y de sus circunstancias únicas de necesidad. Como señalan Stebbins et al. , los grupos de tratamiento a menudo eran los niños más necesitados. Seleccionar aleatoriamente a algunos de los niños más desfavorecidos (muchos de los cuales participaron en Head Start antes de Follow Through ) fuera de la evaluación sin duda habría sido percibido negativamente por los miembros de la comunidad. [2] : 61 Stebbins et al. señalan que hubo "variaciones considerables en el rango de niños atendidos"; Sin embargo, a pesar de la presencia de "muchos de los problemas inherentes a la investigación social de campo... las evaluaciones de estas variaciones planificadas nos brindan la oportunidad de examinar las estrategias educativas en condiciones de la vida real en oposición a condiciones de laboratorio artificiales y estrictamente controladas". [2] : 12–13
Limite de los instrumentos . Adams y Engelmann señalan que muchos críticos han sugerido que se deberían haber utilizado más instrumentos en la evaluación Follow Through . [11] : 71 Egbert está de acuerdo con Adams y Engelmann en que los esfuerzos de recolección de datos fueron extensos. [1] : 7 A pesar del acuerdo entre los patrocinadores del modelo sobre un conjunto uniforme de instrumentos para evaluar la eficacia de sus modelos, los patrocinadores del modelo creían que sus programas lograron ganancias en indicadores de rendimiento más intrínsecos y menos mensurables, como una mayor autoestima o una mayor participación de los padres. En la medida en que estos resultados deseados se produjeron y beneficiaron las vidas de los estudiantes de maneras que nunca podrían medirse mediante medios cuantitativos, esos aspectos de muchos modelos fueron exitosos. Tanto House et al. La crítica [12] y otros (citados en Wisler [14] ) expresan su preocupación por la inadecuación de los instrumentos utilizados para medir la autoestima en la evaluación Follow Through (es decir, la Escala de Responsabilidad del Logro Intelectual (IARS) y el Inventario de Autoestima de Coopersmith). Pero era mejor, según muchos investigadores, medir los resultados de manera imperfecta en lugar de no medirlos en absoluto. [14] : 173 Por lo tanto, si bien es posible que nunca existan medidas "perfectas" de los resultados deseados, no se debe permitir que lo perfecto sea enemigo de lo bueno; en otras palabras, se podría poner en duda la eficacia de realizar cualquier experimento sobre la base de que existe algún sesgo o imperfección.
¿ Follow Through era un programa social o científico? Después de un período inicial, las nuevas regulaciones ordenaron que el 80 por ciento de la financiación de Follow Through se asignara a la prestación de servicios, mientras que el 20 por ciento se utilizara para la producción de conocimiento. [20] : 1 [21] Las propias regulaciones sugieren que Follow Through era principalmente "un programa educativo financiado por el gobierno federal que contenía un componente de investigación incorporado". [20] : 1–2 Existe un conflicto inevitable cuando se intenta poner en funcionamiento un programa federal en educación que posee tanto objetivos de prestación de servicios como de investigación y desarrollo. [1] : 8–9 Rivlin et al. señalan que "la complejidad bizantina del proceso de formulación de políticas públicas hace que la realización de experimentos sociales sea extremadamente difícil". [9] : 24 Dada la reducción de la financiación, la decisión de emprender un esfuerzo para evaluar la eficacia de varias intervenciones en un experimento empírico parece apropiada y sencilla. Sin embargo, si el cambio no se refleja en la legislación del Congreso o no se comunica claramente a nivel local, inevitablemente surgen problemas de implementación y conflictos con valores profundamente arraigados. [9] : 24–25 [3] : 13–15 Hay mucha evidencia que indica confusión sobre la intención de la evaluación de seguimiento a nivel administrativo. [5] : 4 [1] : 4–5 [8] : 182, 255 [4] : 5–6 [22] : 14–15
Cuestiones de control local. Se pensó que el aspecto de variación planificada de Follow Through era beneficioso, tal vez superior, a otras formas de experimentación (por ejemplo, la selección de sitios basada en una asignación aleatoria) porque daría a las comunidades locales y las escuelas un elemento de propiedad integral para la implementación exitosa de los modelos. [3] : 16 [8] : 190–191 A pesar del diseño de variación planificada, las comunidades locales en muchos sitios fueron, sin embargo, profundamente críticas del programa. En algunos sentidos, las críticas a Follow Through habían precedido directamente a Head Start. Ostensiblemente, el propósito y los objetivos del servicio social del programa Head Start eran más claros que los de la evaluación de Follow Through . Sin embargo, los líderes comunitarios habían sentido que Head Start no dio suficiente responsabilidad de toma de decisiones a los padres y miembros de la comunidad. [1] : 1–3 Los intereses locales querían tomar decisiones curriculares, incluido el cambio de facetas de algunos modelos de programa [3] : 25 Evans advirtió que "las comunidades y los contextos educativos varían", lo que puede tener un efecto directo en la implementación de un modelo. [4] : 16 Sin embargo, las afirmaciones de Elmore [8] : 381 y Hill [10] : 16 de que los modelos Follow Through interferían con los métodos y prácticas de enseñanza locales son más problemáticas. Como escribe Elmore, "para Follow Through , el problema era cómo implementar variaciones del programa en un sistema donde la mayoría de las decisiones diarias sobre el contenido del programa se toman en la escuela o en el aula". [8] : 381 Rhine et al. sugieren que es difícil lograr que los maestros modifiquen su comportamiento. [6] : 62 Y si se logra el objetivo de cambiar el comportamiento, los maestros sienten poca apropiación del modelo, una inversión decididamente dudosa. Lo que inevitablemente parece suceder es que los maestros rechazan los programas de plano, mientras que otros "se rinden al programa". [6] : 62
La "dicotomía hecho-valor" . Ernest R. House , coautor de la crítica de 1978 de la evaluación Follow Through , escribió un artículo sobre lo que él llama la " dicotomía hecho-valor " en la experimentación social y la investigación educativa: "la creencia de que los hechos se refieren a una cosa y los valores se refieren a algo totalmente diferente". [23] : 312–313 House elucida los escritos de Donald Campbell, un investigador en el campo de la evaluación. [24] [25] House señaló que, según Campbell, los hechos no pueden existir fuera del marco de los valores de uno porque inevitablemente, una investigación que descubre un cierto hecho es consistente con los valores internos del investigador o en contra de ellos. El resultado es una elección difícil: el investigador debe rechazar el hecho o modificar su valor para acomodarlo. Campbell también creía, según House, que los valores, a diferencia de los hechos, podían elegirse racionalmente. House coincide en parte con la afirmación de Campbell, pero se aparta de él en que cree que los hechos y los valores no pueden existir de forma aislada; más bien, "se combinan en las conclusiones de los estudios de evaluación y, de hecho, se combinan a lo largo de los estudios de evaluación". [23] : 313 House sugiere que el lector conciba los hechos y los valores como existentes en un continuo que va desde "los hechos hasta los valores desnudos". En consecuencia, rara vez las "afirmaciones de hechos" o las "afirmaciones de valores" caen completamente en un extremo del espectro o en el otro. House proporciona ejemplos: "Los diamantes son más duros que el acero" podría caer en el lado izquierdo del espectro, mientras que "El Cabernet es mejor que el Chardonnay" cae en el lado derecho. [23] : 313 En conclusión, House propone un método completamente nuevo de investigación empírica llamado "evaluación democrática deliberativa". En él, los evaluadores llegan a "afirmaciones imparciales" a través de "la inclusión de todas las perspectivas, valores e intereses relevantes de las partes interesadas en el estudio; un diálogo extenso entre el evaluador y las partes interesadas... y una deliberación extensa para llegar a conclusiones válidas en el estudio". [23] : 314 House critica el uso de métodos completamente racionales cuando se aplican a las evaluaciones; de hecho, recomienda un grado de subjetividad, porque las evaluaciones como Follow Through no pueden existir fuera de valores profundamente arraigados. [22] : 10, 20
Hill escribe: "Rara vez hay alguien a nivel local cuyo compromiso con una innovación curricular, un proceso de planificación o un esquema de gestión financiera impuestos externamente surja espontáneamente de valores personales profundamente arraigados". [10] : 12 House sostiene que toda toma de decisiones que surge de las evaluaciones en educación es el resultado de un compromiso. Watkins sostiene que Follow Through resultó en un choque sobre valores basados en diferentes creencias sobre cómo aprenden los niños, que se pueden resumir en teorías de "crecimiento natural" o "despliegue" versus [3] : 60 teorías de "cambio de comportamiento". [3] : 60 Watkins afirma que la mayoría de los expertos en educación hoy en día no juzgan los programas por su eficacia relativa con diferentes poblaciones de estudiantes, sino más bien por su "congruencia con las filosofías prevalecientes de la educación". [3] : 61