El Programa para la Evaluación Internacional de Alumnos ( PISA ) es un estudio mundial de la Organización para la Cooperación y el Desarrollo Económicos (OCDE) en países miembros y no miembros cuyo objetivo es evaluar los sistemas educativos midiendo el rendimiento académico de los alumnos de 15 años en matemáticas, ciencias y lectura. [1] Se realizó por primera vez en 2000 y luego se repitió cada tres años. Su objetivo es proporcionar datos comparables con vistas a permitir a los países mejorar sus políticas y resultados educativos. Mide la resolución de problemas y la cognición. [2]
Los resultados de la recopilación de datos de 2022 se publicaron en diciembre de 2023. [3]
PISA y otras evaluaciones internacionales estandarizadas similares de logros educativos se utilizan cada vez más en el proceso de formulación de políticas educativas tanto a nivel nacional como internacional. [4]
PISA fue concebido para poner en un contexto más amplio la información proporcionada por el seguimiento nacional del desempeño del sistema educativo a través de evaluaciones regulares dentro de un marco común acordado internacionalmente; al investigar las relaciones entre el aprendizaje de los estudiantes y otros factores, pueden "ofrecer información sobre las fuentes de variación en los desempeños dentro y entre los países". [5]
Hasta la década de 1990, pocos países europeos utilizaban pruebas nacionales. En esa década, diez países o regiones introdujeron la evaluación estandarizada y, desde principios de la década de 2000, otros diez siguieron su ejemplo. En 2009, solo cinco sistemas educativos europeos no contaban con evaluaciones nacionales de los estudiantes. [4]
El impacto de estas evaluaciones estandarizadas internacionales en el campo de la política educativa ha sido significativo, en términos de creación de nuevos conocimientos , cambios en la política de evaluación e influencia externa sobre la política educativa nacional en general. [6] [7] [8]
Los datos de las evaluaciones internacionales estandarizadas pueden ser útiles para la investigación de los factores causales dentro de los sistemas educativos o entre ellos. [4] Mons señala que las bases de datos generadas por las evaluaciones internacionales a gran escala han hecho posible la realización de inventarios y comparaciones de los sistemas educativos a una escala sin precedentes* sobre temas que van desde las condiciones para el aprendizaje de las matemáticas y la lectura hasta la autonomía institucional y las políticas de admisión. [9] Permiten desarrollar tipologías que pueden utilizarse para análisis estadísticos comparativos de los indicadores de rendimiento educativo, identificando así las consecuencias de diferentes opciones de política. Han generado nuevos conocimientos sobre la educación: los hallazgos de PISA han cuestionado prácticas educativas profundamente arraigadas, como el seguimiento temprano de los estudiantes hacia trayectorias vocacionales o académicas. [10]
Barroso y de Carvalho consideran que PISA proporciona una referencia común que conecta la investigación académica en educación y el ámbito político de las políticas públicas, y que funciona como mediador entre diferentes corrientes de conocimiento en el ámbito de la educación y las políticas públicas. [11] Sin embargo, aunque los hallazgos clave de las evaluaciones comparativas son ampliamente compartidos en la comunidad de investigación [4], el conocimiento que crean no necesariamente se ajusta a las agendas de reforma gubernamental; esto conduce a algunos usos inapropiados de los datos de evaluación.
Las investigaciones recientes indican que las evaluaciones estandarizadas internacionales están teniendo un impacto en las políticas y prácticas nacionales de evaluación. PISA se está integrando en las políticas y prácticas nacionales sobre evaluación, estándares curriculares y objetivos de desempeño; sus marcos e instrumentos de evaluación se están utilizando como modelos de mejores prácticas para mejorar las evaluaciones nacionales; muchos países han incorporado y enfatizado explícitamente competencias similares a las de PISA en estándares y currículos nacionales revisados; otros utilizan los datos de PISA para complementar los datos nacionales y validar los resultados nacionales en relación con un parámetro de referencia internacional. [10]
PISA puede influir en las decisiones de política educativa nacional de diversas maneras. La participación en evaluaciones internacionales como PISA se ha vinculado a cambios y resultados significativos en las políticas educativas, como mayores inscripciones de estudiantes y reformas educativas. [6] Sin embargo, los críticos han argumentado que la participación podría conducir a resultados indeseables, como mayores tasas de repetición y una reducción de los planes de estudio. [7] El impacto de PISA también puede variar según el contexto específico del país. [12]
Los responsables de las políticas en la mayoría de los países participantes consideran a PISA como un indicador importante del desempeño del sistema; los informes de PISA pueden definir problemas de políticas y fijar la agenda para el debate de políticas nacionales; los responsables de las políticas parecen aceptar a PISA como un instrumento válido y confiable para evaluar a nivel internacional el desempeño del sistema y sus cambios a lo largo del tiempo; la mayoría de los países, independientemente de si obtuvieron un puntaje PISA superior, igual o inferior al promedio, han iniciado reformas de políticas en respuesta a los informes de PISA. [10]
En cambio, el impacto en los sistemas educativos nacionales varía notablemente. Por ejemplo, en Alemania, los resultados de la primera evaluación PISA provocaron el llamado «shock PISA»: un cuestionamiento de las políticas educativas previamente aceptadas; en un estado marcado por diferencias de política regional celosamente guardadas, esto llevó finalmente a un acuerdo de todos los Länder para introducir estándares nacionales comunes e incluso una estructura institucionalizada para garantizar su cumplimiento. [13] En Hungría, en comparación, que compartía condiciones similares a las de Alemania, los resultados PISA no han provocado cambios significativos en la política educativa. [14]
Dado que muchos países han establecido objetivos nacionales de desempeño basados en su posición relativa o en su puntuación absoluta en PISA, las evaluaciones PISA han aumentado la influencia de su organismo encargado (no electo), la OCDE, como monitor internacional de la educación y actor político, lo que implica un importante grado de "transferencia de políticas" del nivel internacional al nacional; PISA en particular está teniendo "un efecto normativo influyente en la dirección de las políticas educativas nacionales". [10] Por lo tanto, se sostiene que el uso de evaluaciones estandarizadas internacionales ha llevado a un cambio hacia una rendición de cuentas internacional y externa por el desempeño del sistema nacional; Rey sostiene que las encuestas PISA, presentadas como diagnósticos objetivos de terceros de los sistemas educativos, en realidad sirven para promover orientaciones específicas sobre cuestiones educativas. [4]
Los actores de las políticas nacionales hacen referencia a los países con un alto desempeño en PISA para "ayudar a legitimar y justificar su agenda de reformas prevista en debates nacionales de políticas controvertidos". [15] Los datos de PISA pueden ser "utilizados para alimentar debates de larga data sobre conflictos o rivalidades preexistentes entre diferentes opciones de políticas, como en la Comunidad Francesa de Bélgica". [16] En tales casos, los datos de evaluación de PISA se utilizan de manera selectiva: en el discurso público, los gobiernos a menudo solo utilizan características superficiales de las encuestas de PISA, como las clasificaciones de los países, y no los análisis más detallados. Rey (2010:145, citando a Greger, 2008) señala que a menudo se ignoran los resultados reales de las evaluaciones de PISA, ya que los responsables de las políticas se refieren selectivamente a los datos para legitimar políticas introducidas por otras razones. [17]
Además, las comparaciones internacionales de PISA pueden utilizarse para justificar reformas con las que los datos en sí no tienen conexión; en Portugal, por ejemplo, los datos de PISA se utilizaron para justificar nuevos mecanismos de evaluación de los profesores (basados en inferencias que no estaban justificadas por las evaluaciones y los datos en sí); también alimentaron el discurso del gobierno sobre el problema de la repetición de curso (que, según las investigaciones, no mejora los resultados de los estudiantes). [18] En Finlandia, los resultados de PISA del país (que en otros países se consideran excelentes) fueron utilizados por los ministros para promover nuevas políticas para los estudiantes "superdotados". [19] Estos usos e interpretaciones a menudo suponen relaciones causales que no pueden basarse legítimamente en los datos de PISA, que normalmente requerirían una investigación más completa mediante estudios cualitativos en profundidad y encuestas longitudinales basadas en métodos cuantitativos y cualitativos mixtos, [20] que los políticos a menudo son reacios a financiar.
En las últimas décadas se ha producido una expansión de los usos de PISA y evaluaciones similares, desde la evaluación del aprendizaje de los estudiantes hasta la conexión "del ámbito educativo (su ámbito tradicional) con el ámbito político". [21] Esto plantea la cuestión de si los datos de PISA son lo suficientemente sólidos como para soportar el peso de las principales decisiones políticas que se basan en ellos, ya que, según Breakspear, los datos de PISA han llegado a "dar forma, definir y evaluar cada vez más los objetivos clave del sistema educativo nacional/federal". [10] Esto implica que quienes establecen las pruebas PISA (por ejemplo, al elegir el contenido que se evaluará y el que no) están en una posición de considerable poder para establecer los términos del debate sobre la educación y orientar la reforma educativa en muchos países de todo el mundo. [10]
PISA se inscribe en una tradición de estudios escolares internacionales, emprendidos desde finales de la década de 1950 por la Asociación Internacional para la Evaluación del Logro Educativo (IEA). Gran parte de la metodología de PISA sigue el ejemplo del Estudio de Tendencias Internacionales en Matemáticas y Ciencias (TIMSS, iniciado en 1995), que a su vez estuvo muy influido por la Evaluación Nacional del Progreso Educativo (NAEP) de Estados Unidos. El componente de lectura de PISA está inspirado en el Estudio del Progreso en la Competencia Lectora Internacional (PIRLS) de la IEA .
PISA tiene como objetivo evaluar la alfabetización, la competencia de los estudiantes en tres campos: lectura, matemáticas y ciencias en una escala indefinida. [22]
La prueba de alfabetización matemática PISA pide a los estudiantes que apliquen sus conocimientos matemáticos para resolver problemas planteados en contextos del mundo real. Para resolver los problemas, los estudiantes deben activar una serie de competencias matemáticas, así como una amplia gama de conocimientos de contenido matemático. TIMSS, por otro lado, mide contenidos más tradicionales del aula, como la comprensión de fracciones y decimales y la relación entre ellos (logro curricular). PISA pretende medir la aplicación de la educación a problemas de la vida real y el aprendizaje permanente (conocimiento de la fuerza laboral).
En la prueba de lectura, “la OCDE/PISA no mide hasta qué punto los estudiantes de 15 años son lectores fluidos ni su competencia en tareas de reconocimiento de palabras o de ortografía”, sino que deberían ser capaces de “construir, ampliar y reflexionar sobre el significado de lo que han leído en una amplia gama de textos continuos y discontinuos”. [23]
PISA también evalúa a los estudiantes en áreas innovadoras. En 2012 y 2015, además de lectura, matemáticas y ciencias, se les evaluó en resolución de problemas en colaboración. En 2018, el área innovadora adicional fue la competencia global.
PISA está patrocinado, gobernado y coordinado por la OCDE, pero financiado por los países participantes. [ cita requerida ]
Los alumnos evaluados en PISA tienen entre 15 años y 3 meses y 16 años y 2 meses al comienzo del período de evaluación. No se tiene en cuenta el año escolar en el que se encuentran los alumnos. Se examina únicamente a los alumnos que asisten a la escuela, no a los que se educan en casa. Sin embargo, en PISA 2006, varios países utilizaron también una muestra de alumnos basada en el curso escolar, lo que permitió estudiar la interacción entre la edad y el año escolar.
Para cumplir con los requisitos de la OCDE, cada país debe extraer una muestra de al menos 5.000 estudiantes. En países pequeños como Islandia y Luxemburgo , donde hay menos de 5.000 estudiantes por año, se examina a una cohorte de edad completa. Algunos países utilizaron muestras mucho más grandes que las requeridas para permitir comparaciones entre regiones.
Cada estudiante realiza una prueba de dos horas en computadora. Una parte de la prueba es de opción múltiple y otra incluye respuestas más completas. Hay seis horas y media de material de evaluación, pero no se evalúa a cada estudiante sobre todas las partes. Después de la prueba cognitiva, los estudiantes participantes pasan casi una hora más respondiendo un cuestionario sobre sus antecedentes, incluidos los hábitos de aprendizaje, la motivación y la familia. Los directores de la escuela completan un cuestionario que describe la demografía de la escuela, la financiación, etc. En 2012, por primera vez en la historia de las pruebas y evaluaciones a gran escala, se les propuso a los participantes un nuevo tipo de problema, es decir, problemas interactivos (complejos) que requieren la exploración de un nuevo dispositivo virtual. [24] [25]
En países seleccionados, PISA inició experimentos con pruebas adaptativas por computadora .
A los países se les permite combinar PISA con pruebas nacionales complementarias.
Alemania aplica este método de forma muy amplia: al día siguiente de la prueba internacional, los estudiantes realizan una prueba nacional llamada PISA-E (E=Ergänzung=complemento). Los ítems de la prueba PISA-E se parecen más a los del TIMSS que a los del PISA. Mientras que sólo unos 5.000 estudiantes alemanes participan en la prueba internacional y nacional, otros 45.000 realizan sólo la prueba nacional. Esta gran muestra es necesaria para permitir un análisis por estados federados. Tras un desacuerdo sobre la interpretación de los resultados de 2006, la OCDE advirtió a Alemania que podría retirar el derecho a utilizar la etiqueta "PISA" para las pruebas nacionales. [26]
Desde el principio, PISA se ha diseñado con un método particular de análisis de datos en mente. Dado que los estudiantes trabajan con diferentes cuadernillos de prueba, las puntuaciones brutas deben ser "escaladas" para permitir comparaciones significativas. Por lo tanto, las puntuaciones se escalan de modo que el promedio de la OCDE en cada dominio (matemáticas, lectura y ciencias) sea 500 y la desviación estándar sea 100. [27] Esto es cierto solo para el ciclo inicial de PISA cuando se introdujo por primera vez la escala, aunque los ciclos posteriores se vinculan con los ciclos anteriores a través de métodos de vinculación de escalas de IRT. [28]
Esta generación de estimaciones de competencia se realiza utilizando una extensión de regresión latente del modelo de Rasch , un modelo de la teoría de respuesta al ítem (TRI), también conocido como modelo de condicionamiento o modelo poblacional. Las estimaciones de competencia se proporcionan en forma de los llamados valores plausibles, que permiten estimaciones no sesgadas de las diferencias entre grupos. La regresión latente, junto con el uso de una distribución de probabilidad previa gaussiana de las competencias de los estudiantes, permite la estimación de las distribuciones de competencia de los grupos de estudiantes participantes. [29] Los procedimientos de escalamiento y condicionamiento se describen en términos casi idénticos en los Informes técnicos de PISA 2000, 2003, 2006. NAEP y TIMSS utilizan métodos de escalamiento similares.
Todos los resultados de PISA se tabulan por país; los ciclos recientes de PISA tienen resultados provinciales o regionales separados para algunos países. La mayor parte de la atención pública se concentra en un solo resultado: las puntuaciones medias de los países y sus clasificaciones de unos países con respecto a otros. Sin embargo, en los informes oficiales, las clasificaciones país por país no se dan como simples tablas de clasificación, sino como tablas cruzadas que indican para cada par de países si las diferencias de puntuación media son o no estadísticamente significativas (es poco probable que se deban a fluctuaciones aleatorias en el muestreo de estudiantes o en el funcionamiento de los ítems). En casos favorables, una diferencia de 9 puntos es suficiente para considerarse significativa. [ cita requerida ]
PISA nunca combina las puntuaciones de las áreas de matemáticas, ciencias y lectura para obtener una puntuación general. Sin embargo, los analistas a veces han combinado los resultados de las pruebas de las tres áreas para obtener una clasificación general por países. Este metaanálisis no cuenta con el aval de la OCDE, aunque los resúmenes oficiales a veces utilizan las puntuaciones de la principal área de un ciclo de pruebas como indicador de la capacidad general de los estudiantes.
Los resultados de PISA 2022 se presentaron el 5 de diciembre de 2023 e incluyeron datos de alrededor de 700.000 estudiantes participantes en 81 países y economías, siendo Singapur el país con mejor desempeño en todas las categorías. [30]
Tanto el Líbano como las provincias y municipios chinos de Beijing , Shanghai , Jiangsu y Zhejiang participaron en estas ediciones, pero sus resultados no se publicaron porque no pudieron recopilar todos los datos debido a las restricciones por COVID. [31]
Debido a la invasión rusa a gran escala de Ucrania , solo se recopilaron datos de 18 de las 27 regiones ucranianas, por lo que los resultados no son representativos de las siguientes regiones: Óblast de Dnipropetrovsk , Óblast de Donetsk , Óblast de Járkov , Óblast de Luhansk , Óblast de Zaporizhia , Óblast de Jersón , Óblast de Mykolaiv , la República Autónoma de Crimea y la ciudad de Sebastopol . [32]
La participación de China en la prueba de 2012 se limitó a Shanghái , Hong Kong y Macao como entidades separadas. En 2012, Shanghái participó por segunda vez, encabezando nuevamente la clasificación en las tres materias, además de mejorar las puntuaciones en las materias en comparación con las pruebas de 2009. La puntuación de Shanghái de 613 en matemáticas fue 113 puntos superior a la puntuación media, lo que sitúa el rendimiento de los alumnos de Shanghái unos 3 años escolares por delante de los alumnos de los países promedio. Los expertos en educación debatieron hasta qué punto este resultado reflejaba la calidad del sistema educativo general de China , señalando que Shanghái tiene mayor riqueza y profesores mejor pagados que el resto de China. [39] Hong Kong quedó en segundo lugar en lectura y ciencias y en tercer lugar en matemáticas.
Andreas Schleicher , jefe de división y coordinador de PISA, afirmó que las pruebas PISA administradas en la China rural han producido algunos resultados que se acercan al promedio de la OCDE. Citando más investigaciones de la OCDE aún no publicadas, dijo: "De hecho, hemos realizado PISA en 12 de las provincias de China. Incluso en algunas de las áreas más pobres se obtienen resultados cercanos al promedio de la OCDE". [40] Schleicher cree que China también ha ampliado el acceso a la escuela y se ha alejado del aprendizaje de memoria, [41] obteniendo buenos resultados tanto en evaluaciones basadas en la memoria como en evaluaciones más amplias. [40]
En 2018, las provincias chinas que participaron fueron Pekín , Shanghái , Jiangsu y Zhejiang . En 2015, las provincias participantes fueron Jiangsu, Guangdong , Pekín y Shanghái. [42] La cohorte de Pekín-Shanghái-Jiangsu-Guangdong de 2015 obtuvo una mediana de 518 puntos en ciencias en 2015, mientras que la cohorte de Shanghái de 2012 obtuvo una mediana de 580 puntos.
Los críticos de PISA argumentan que en Shanghái y otras ciudades chinas la mayoría de los hijos de trabajadores migrantes sólo pueden asistir a escuelas de la ciudad hasta el noveno grado y deben regresar a las ciudades de origen de sus padres para cursar la escuela secundaria debido a las restricciones del hukou , lo que sesga la composición de los estudiantes de secundaria de la ciudad a favor de las familias locales más ricas. Un gráfico de población de Shanghái reproducido en The New York Times muestra una pronunciada caída en el número de jóvenes de 15 años que residen allí. [43] Según Schleicher, el 27% de los jóvenes de 15 años de Shanghái están excluidos de su sistema escolar (y, por lo tanto, de las pruebas). Como resultado, el porcentaje de jóvenes de 15 años de Shanghái evaluados por PISA fue del 73%, menor que el 89% evaluado en los EE. UU. [44] Después de las pruebas de 2015, la OCDE publicó estudios en profundidad sobre los sistemas educativos de unos pocos países seleccionados, incluida China. [45]
En 2014, Liz Truss , subsecretaria de Estado parlamentaria británica en el Departamento de Educación , dirigió una visita de investigación a escuelas y centros de formación de profesores en Shanghái. [46] Gran Bretaña aumentó los intercambios con profesores y escuelas chinas para averiguar cómo mejorar la calidad. En 2014, 60 profesores de Shanghái fueron invitados al Reino Unido para ayudar a compartir sus métodos de enseñanza, apoyar a los alumnos con dificultades y ayudar a formar a otros profesores. [47] En 2016, Gran Bretaña invitó a 120 profesores chinos, planeando adoptar estilos de enseñanza chinos en 8.000 escuelas subvencionadas. [48] Para 2019, aproximadamente 5.000 de las 16.000 escuelas primarias de Gran Bretaña habían adoptado los métodos de enseñanza de Shanghái. [49] El rendimiento de las escuelas británicas en PISA mejoró después de adoptar los estilos de enseñanza de China. [50] [51]
Finlandia, que obtuvo varias de las primeras posiciones en las primeras pruebas, cayó en las tres materias en 2012, pero siguió siendo el país con mejor rendimiento en general en Europa, logrando su mejor resultado en ciencias con 545 puntos (5º) y el peor en matemáticas con 519 (12º), en el que el país fue superado por otros cuatro países europeos. La caída en matemáticas fue de 25 puntos desde 2003, la última vez que las matemáticas fueron el foco de las pruebas. Por primera vez, las niñas finlandesas superaron a los niños en matemáticas por un estrecho margen. También fue la primera vez que los alumnos de las escuelas de habla finlandesa no obtuvieron mejores resultados que los alumnos de las escuelas de habla sueca . La ex ministra de Educación y Ciencia Krista Kiuru expresó su preocupación por la caída general, así como por el hecho de que el número de estudiantes de bajo rendimiento había aumentado del 7% al 12%. [52]
La India participó en la ronda de pruebas de 2009, pero se retiró de la prueba PISA de 2012, y el gobierno indio atribuyó su acción a la injusticia de las pruebas PISA para los estudiantes indios. [53] La India había quedado en el puesto 72 de 73 países evaluados en 2009. [54] El Indian Express informó: "El Ministerio (de Educación) ha llegado a la conclusión de que había una desconexión sociocultural entre las preguntas y los estudiantes indios. El Ministerio escribirá a la OCDE y enfatizará la necesidad de tener en cuenta el "entorno sociocultural" de la India. La participación de la India en el próximo ciclo PISA dependerá de esto". [55] El Indian Express también señaló que "teniendo en cuenta que más de 70 naciones participan en PISA, no es seguro que se haga una excepción para la India".
La India no participó en las rondas PISA de 2012, 2015 y 2018. [56]
Un comité de Kendriya Vidyalaya Sangathan (KVS) y un grupo de secretarios de educación constituidos por el Primer Ministro de la India, Narendra Modi, recomendaron que la India participara en PISA. En consecuencia, en febrero de 2017, el Ministerio de Desarrollo de Recursos Humanos, bajo el mando de Prakash Javadekar, decidió poner fin al boicot y participar en PISA a partir de 2020. Para abordar la desconexión sociocultural entre las preguntas de la prueba y los estudiantes, se informó que la OCDE actualizará algunas preguntas. Por ejemplo, la palabra aguacate en una pregunta puede reemplazarse por una fruta india más popular, como el mango. [57]
La India no participó en las rondas PIS de 2022 debido a las interrupciones provocadas por la pandemia de COVID-19 . [58]
En 2015, la OCDE determinó que los resultados de Malasia no habían alcanzado la tasa de respuesta máxima. [59] El político de la oposición Ong Kian Ming dijo que el Ministerio de Educación intentó sobremuestrear a los estudiantes de alto rendimiento en escuelas ricas. [60] [61]
El resultado de Suecia cayó en las tres materias en la prueba de 2012, lo que fue una continuación de una tendencia de 2006 y 2009. Se observó la caída más pronunciada en el rendimiento en matemáticas con una caída en la puntuación de 509 en 2003 a 478 en 2012. La puntuación en lectura mostró una caída de 516 en 2000 a 483 en 2012. El país se desempeñó por debajo del promedio de la OCDE en las tres materias. [62] El líder de la oposición, el socialdemócrata Stefan Löfven , describió la situación como una crisis nacional. [63] Junto con el portavoz del partido en educación, Ibrahim Baylan , señaló la tendencia a la baja en lectura como la más severa. [63]
En 2020, el periódico sueco Expressen reveló que Suecia había inflado su puntuación en PISA 2018 al no ajustarse a los estándares de la OCDE. Según el profesor Magnus Henrekson , un gran número de estudiantes nacidos en el extranjero no habían sido evaluados. [64] Según un artículo de Sveriges Radio, las malas puntuaciones de los niños inmigrantes son una causa importante de la reciente disminución de las puntuaciones suecas en PISA.
En la prueba de 2012, al igual que en 2009, el resultado fue ligeramente superior al promedio del Reino Unido, siendo la clasificación en ciencias la más alta (20). [65] Inglaterra , Gales , Escocia e Irlanda del Norte también participaron como entidades separadas, mostrando el peor resultado para Gales, que en matemáticas ocupó el puesto 43 de los 65 países y economías. El Ministro de Educación de Gales, Huw Lewis, expresó su decepción por los resultados, dijo que no había "soluciones rápidas", pero esperaba que varias reformas educativas que se han implementado en los últimos años darían mejores resultados en la próxima ronda de pruebas. [66] El Reino Unido tenía una mayor brecha entre los estudiantes con puntuaciones altas y bajas que el promedio. Había poca diferencia entre las escuelas públicas y privadas cuando se ajustaba al contexto socioeconómico de los estudiantes. La diferencia de género a favor de las niñas era menor que en la mayoría de los demás países, al igual que la diferencia entre nativos e inmigrantes. [65]
En un artículo publicado en el Daily Telegraph , Ambrose Evans-Pritchard advirtió contra poner demasiado énfasis en la clasificación internacional del Reino Unido, argumentando que un enfoque excesivo en los resultados académicos en el este de Asia podría haber contribuido a la baja tasa de natalidad de la zona , lo que, según él, podría dañar el desempeño económico en el futuro más de lo que compensaría una buena puntuación en PISA. [67]
En 2013, el Times Educational Supplement (TES) publicó un artículo titulado "¿Tiene PISA fundamentalmente fallas?", de William Stewart, en el que se detallan críticas serias a los fundamentos conceptuales de PISA y a los métodos propuestos por estadísticos de las principales universidades. [68]
En el artículo, el profesor Harvey Goldstein, de la Universidad de Bristol , afirmaba que cuando la OCDE intenta descartar preguntas sospechosas de sesgo, puede tener el efecto de "suavizar" las diferencias clave entre los países. "Eso es dejar de lado muchas de las cosas importantes", advirtió. "Simplemente no se comentan. Lo que se está analizando es algo que resulta ser común. Pero ¿vale la pena analizarlo? Los resultados de PISA se toman al pie de la letra como si proporcionaran algún tipo de estándar común para todos los países. Pero en cuanto se empieza a analizarlos, creo que todo se desmorona".
El matemático de la Queen's University de Belfast, Dr. Hugh Morrison, afirmó que el modelo estadístico en el que se basa PISA contiene un error matemático fundamental e insoluble que hace que las clasificaciones de PISA "no tengan valor". [69] Goldstein señaló que la objeción del Dr. Morrison pone de relieve "un importante problema técnico", si no un "profundo error conceptual". Sin embargo, Goldstein advirtió que PISA ha sido "utilizado de forma inapropiada", y sostuvo que parte de la culpa de esto "recae en el propio PISA. Creo que tiende a decir demasiado de lo que puede hacer y tiende a no dar publicidad a los aspectos negativos o más débiles". Los profesores Morrison y Goldstein expresaron su consternación por la respuesta de la OCDE a las críticas. Morrison dijo que cuando publicó por primera vez sus críticas a PISA en 2004 y también preguntó personalmente a varias de las "personas de alto nivel" de la OCDE sobre ellas, sus puntos fueron recibidos con "silencio absoluto" y aún no se han abordado. "Me sorprendió lo poco comunicativos que fueron", dijo a TES. "Eso me hace sospechar", afirma. "Pisa ha ignorado firmemente muchos de estos problemas. Todavía estoy preocupado". [70]
El profesor Svend Kreiner, de la Universidad de Copenhague , coincide: "Uno de los problemas que todo el mundo tiene con PISA es que no quieren hablar con gente que critica o hace preguntas sobre los resultados. No quisieron hablar conmigo en absoluto. Estoy seguro de que es porque no pueden defenderse". [70]
Desde 2012, algunos estados han participado en las pruebas PISA como entidades independientes. Solo los resultados de 2012 y 2015 están disponibles a nivel estatal. Puerto Rico también participó en 2015 como entidad independiente de los Estados Unidos.
Aunque los funcionarios y los investigadores de PISA y TIMSS generalmente se abstienen de formular hipótesis sobre las grandes y estables diferencias en el rendimiento de los estudiantes entre países, desde el año 2000 ha surgido literatura sobre las diferencias en los resultados de PISA y TIMSS y sus posibles causas. [72] Los datos de PISA han proporcionado a varios investigadores, en particular a Eric Hanushek , Ludger Wößmann , Heiner Rindermann y Stephen J. Ceci, material para libros y artículos sobre la relación entre el rendimiento de los estudiantes y el desarrollo económico, [73] la democratización y la salud; [74] así como los roles de factores educativos individuales como los exámenes de alto riesgo, [75] la presencia o ausencia de escuelas privadas y los efectos y el momento del seguimiento de la capacidad. [76]
David Spiegelhalter, de Cambridge, escribió: "Pisa presenta incertidumbre en las puntuaciones y clasificaciones; por ejemplo, se dice que el puesto del Reino Unido entre los 65 países está entre el 23 y el 31. No es sensato que los países basen la política educativa en sus resultados de Pisa, como hicieron Alemania , Noruega y Dinamarca después de obtener malos resultados en 2001". [77]
Según un artículo de opinión de Forbes , algunos países como China , Hong Kong , Macao y Argentina seleccionan muestras de PISA sólo de las áreas mejor educadas o de sus estudiantes con mejor desempeño, sesgando los resultados. [78]
Según una carta abierta a Andreas Schleicher , director de PISA, varios académicos y educadores argumentaron que "las pruebas de la OCDE y Pisa están dañando la educación en todo el mundo". [79]
Según O Estado de São Paulo , Brasil muestra una gran disparidad al clasificar los resultados entre escuelas públicas y privadas, donde las escuelas públicas estarían peor clasificadas que Perú, mientras que las privadas estarían mejor clasificadas que Finlandia. [80]
Los resultados de lectura de PISA 2006 no se informan para los Estados Unidos debido a un error en la impresión de los cuadernillos de prueba. Además, como resultado del error de impresión, el desempeño medio en matemáticas y ciencias puede ser subestimado en aproximadamente 1 punto. El impacto es inferior a un error estándar.