El Programa para la Evaluación Internacional de Estudiantes ( PISA ) es un estudio mundial realizado por la Organización para la Cooperación y el Desarrollo Económico (OCDE) en países miembros y no miembros destinado a evaluar los sistemas educativos midiendo el rendimiento escolar de alumnos de 15 años. sobre matemáticas, ciencias y lectura. [1] Se realizó por primera vez en 2000 y luego se repitió cada tres años. Su objetivo es proporcionar datos comparables con miras a permitir que los países mejoren sus políticas y resultados educativos. Mide la resolución de problemas y la cognición. [2]
Los resultados de la recopilación de datos de 2022 se publicaron en diciembre de 2023. [3]
PISA y evaluaciones estandarizadas internacionales similares de logros educativos se utilizan cada vez más en el proceso de formulación de políticas educativas tanto a nivel nacional como internacional. [4]
PISA fue concebido para situar en un contexto más amplio la información proporcionada por el seguimiento nacional del desempeño del sistema educativo a través de evaluaciones periódicas dentro de un marco común acordado internacionalmente; Al investigar las relaciones entre el aprendizaje de los estudiantes y otros factores, pueden "ofrecer información sobre las fuentes de variación en el desempeño dentro y entre países". [5]
Hasta la década de 1990, pocos países europeos utilizaban pruebas nacionales. En la década de 1990, diez países/regiones introdujeron la evaluación estandarizada y, desde principios de la década de 2000, diez más siguieron su ejemplo. En 2009, sólo cinco sistemas educativos europeos no tenían evaluaciones nacionales de los estudiantes. [4]
El impacto de estas evaluaciones estandarizadas internacionales en el campo de la política educativa ha sido significativo, en términos de creación de nuevos conocimientos , cambios en la política de evaluación e influencia externa sobre la política educativa nacional en general. [6] [7] [8]
Los datos de evaluaciones estandarizadas internacionales pueden ser útiles en la investigación de factores causales dentro o entre sistemas educativos. [4] Mons señala que las bases de datos generadas por evaluaciones internacionales a gran escala han permitido realizar inventarios y comparaciones de los sistemas educativos a una escala sin precedentes* sobre temas que van desde las condiciones para el aprendizaje de las matemáticas y la lectura, hasta la autonomía institucional y las admisiones. políticas. [9] Permiten desarrollar tipologías que pueden usarse para análisis estadísticos comparativos de indicadores de desempeño educativo, identificando así las consecuencias de diferentes opciones políticas. Han generado nuevos conocimientos sobre educación: los resultados de PISA han cuestionado prácticas educativas profundamente arraigadas, como el seguimiento temprano de los estudiantes hacia vías vocacionales o académicas. [10]
Barroso y de Carvalho encuentran que PISA proporciona una referencia común que conecta la investigación académica en educación y el ámbito político de las políticas públicas, operando como mediador entre diferentes corrientes de conocimiento del ámbito de la educación y las políticas públicas. [11] Sin embargo, aunque los hallazgos clave de las evaluaciones comparativas son ampliamente compartidos en la comunidad investigadora [4] el conocimiento que crean no necesariamente encaja con las agendas de reforma gubernamental; esto conduce a algunos usos inapropiados de los datos de evaluación.
Las investigaciones emergentes sugieren que las evaluaciones estandarizadas internacionales están teniendo un impacto en las políticas y prácticas de evaluación nacionales. PISA se está integrando en las políticas y prácticas nacionales sobre evaluación, estándares curriculares y objetivos de desempeño; sus marcos e instrumentos de evaluación se están utilizando como modelos de mejores prácticas para mejorar las evaluaciones nacionales; muchos países han incorporado y enfatizado explícitamente competencias similares a PISA en los estándares y planes de estudio nacionales revisados; otros utilizan los datos de PISA para complementar los datos nacionales y validar los resultados nacionales frente a un punto de referencia internacional. [10]
PISA puede influir en las elecciones de políticas educativas nacionales de diversas maneras. La participación en evaluaciones internacionales como PISA se ha vinculado a importantes cambios y resultados en las políticas educativas, como una mayor matrícula estudiantil y reformas educativas. [6] Sin embargo, los críticos han argumentado que la participación podría conducir a resultados indeseables, como mayores tasas de repetición y reducción de los planes de estudio. [7] El impacto de PISA también puede variar según el contexto específico del país. [12]
Los formuladores de políticas en la mayoría de los países participantes ven a PISA como un indicador importante del desempeño del sistema; Los informes PISA pueden definir problemas políticos y establecer la agenda para el debate político nacional; los formuladores de políticas parecen aceptar PISA como un instrumento válido y confiable para comparar internacionalmente el desempeño y los cambios del sistema a lo largo del tiempo; la mayoría de los países, independientemente de si obtuvieron resultados superiores, iguales o inferiores a la puntuación promedio de PISA, han iniciado reformas de políticas en respuesta a los informes de PISA. [10]
Frente a esto, el impacto en los sistemas educativos nacionales varía notablemente. Por ejemplo, en Alemania, los resultados de la primera evaluación PISA provocaron el llamado 'shock PISA': un cuestionamiento de las políticas educativas previamente aceptadas; en un estado marcado por diferencias políticas regionales celosamente guardadas, condujo en última instancia a un acuerdo por parte de todos los Länder para introducir estándares nacionales comunes e incluso una estructura institucionalizada para garantizar su cumplimiento. [13] En Hungría, en comparación, que compartía condiciones similares a las de Alemania, los resultados de PISA no han dado lugar a cambios significativos en la política educativa. [14]
Debido a que muchos países han establecido objetivos de desempeño nacionales basados en su clasificación relativa o puntuación absoluta en PISA, las evaluaciones PISA han aumentado la influencia de su organismo encargado (no electo), la OCDE, como supervisor de la educación internacional y actor político, lo que implica un importante papel. grado de "transferencia de políticas" del nivel internacional al nacional; PISA en particular está teniendo "un efecto normativo influyente en la dirección de las políticas educativas nacionales". [10] Por lo tanto, se argumenta que el uso de evaluaciones estandarizadas internacionales ha llevado a un cambio hacia la rendición de cuentas internacional y externa por el desempeño del sistema nacional; Rey sostiene que las encuestas PISA, presentadas como diagnósticos objetivos de los sistemas educativos por parte de terceros, en realidad sirven para promover orientaciones específicas sobre cuestiones educativas. [4]
Los actores de las políticas nacionales se refieren a los países de alto desempeño en PISA para "ayudar a legitimar y justificar su agenda de reformas prevista dentro de los debates de políticas nacionales controvertidos". [15] Los datos de PISA pueden "utilizarse para alimentar debates de larga data sobre conflictos o rivalidades preexistentes entre diferentes opciones políticas, como en la Comunidad Francesa de Bélgica". [16] En tales casos, los datos de la evaluación PISA se utilizan de forma selectiva: en el discurso público los gobiernos a menudo sólo utilizan características superficiales de las encuestas PISA, como clasificaciones de países, y no análisis más detallados. Rey (2010:145, citando a Greger, 2008) señala que a menudo los resultados reales de las evaluaciones PISA se ignoran cuando los formuladores de políticas se refieren selectivamente a los datos para legitimar las políticas introducidas por otras razones. [17]
Además, las comparaciones internacionales de PISA pueden utilizarse para justificar reformas con las que los datos en sí no tienen conexión; en Portugal, por ejemplo, los datos de PISA se utilizaron para justificar nuevas disposiciones para la evaluación de docentes (basadas en inferencias que no estaban justificadas por las evaluaciones y los datos en sí); también alimentaron el discurso del gobierno sobre la cuestión de los alumnos que repiten año (lo que, según las investigaciones, no mejora los resultados de los estudiantes). [18] En Finlandia, los resultados PISA del país (que en otros países se consideran excelentes) fueron utilizados por los ministros para promover nuevas políticas para los estudiantes "superdotados". [19] Tales usos e interpretaciones a menudo suponen relaciones causales que no pueden basarse legítimamente en los datos de PISA, que normalmente requerirían una investigación más completa a través de estudios cualitativos en profundidad y encuestas longitudinales basadas en métodos mixtos cuantitativos y cualitativos, [20] que los políticos a menudo son reacios. financiar.
Las últimas décadas han sido testigos de una expansión en los usos de PISA y evaluaciones similares, desde evaluar el aprendizaje de los estudiantes hasta conectar "el ámbito educativo (su competencia tradicional) con el ámbito político". [21] Esto plantea la cuestión de si los datos de PISA son lo suficientemente sólidos para soportar el peso de las principales decisiones políticas que se basan en ellos, ya que, según Breakspear, los datos de PISA "han llegado a dar forma, definir y evaluar cada vez más los aspectos clave". objetivos del sistema educativo nacional/federal". [10] Esto implica que quienes establecen las pruebas PISA –por ejemplo, al elegir el contenido que se evaluará y el que no se evaluará– están en una posición de poder considerable para fijar los términos del debate sobre educación y orientar la reforma educativa en muchos países de todo el mundo. el mundo. [10]
PISA se inscribe en una tradición de estudios escolares internacionales, realizada desde finales de la década de 1950 por la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA). Gran parte de la metodología de PISA sigue el ejemplo del Estudio Internacional de Tendencias en Matemáticas y Ciencias (TIMSS, iniciado en 1995), que a su vez estuvo muy influido por la Evaluación Nacional del Progreso Educativo (NAEP) de Estados Unidos. El componente de lectura de PISA está inspirado en el Estudio Internacional de Progreso en la Alfabetización Lectora (PIRLS) de la IEA.
PISA tiene como objetivo evaluar la competencia de los estudiantes en tres campos: lectura, matemáticas y ciencias en una escala indefinida. [22]
La prueba de competencia matemática de PISA pide a los estudiantes que apliquen sus conocimientos matemáticos para resolver problemas establecidos en contextos del mundo real. Para resolver los problemas, los estudiantes deben activar una serie de competencias matemáticas, así como una amplia gama de conocimientos de contenidos matemáticos. TIMSS, por otro lado, mide contenidos de clase más tradicionales, como la comprensión de fracciones y decimales y la relación entre ellos (rendimiento curricular). PISA pretende medir la aplicación de la educación a los problemas de la vida real y el aprendizaje permanente (conocimiento de la fuerza laboral).
En la prueba de lectura, "OCDE/PISA no mide hasta qué punto los estudiantes de 15 años saben leer con fluidez ni qué tan competentes son en tareas de reconocimiento de palabras o de ortografía". En cambio, deberían poder "construir, ampliar y reflexionar sobre el significado de lo que han leído en una amplia gama de textos continuos y discontinuos". [23]
PISA también evalúa a los estudiantes en ámbitos innovadores. En 2012 y 2015, además de lectura, matemáticas y ciencias, se les evaluó en resolución colaborativa de problemas. En 2018, el ámbito innovador adicional fue la competencia global.
PISA está patrocinado, gobernado y coordinado por la OCDE, pero financiado por los países participantes. [ cita necesaria ]
Los alumnos evaluados por PISA tienen edades comprendidas entre 15 años y 3 meses y 16 años y 2 meses al inicio del periodo de evaluación. No se tiene en cuenta el año escolar en el que se encuentran los alumnos. Sólo se evalúa a los estudiantes en la escuela, no a los que reciben educación en casa. Sin embargo, en PISA 2006, varios países también utilizaron una muestra de estudiantes basada en el grado. Esto permitió estudiar cómo interactúan la edad y el año escolar.
Para cumplir con los requisitos de la OCDE, cada país debe seleccionar una muestra de al menos 5.000 estudiantes. En países pequeños como Islandia y Luxemburgo , donde hay menos de 5.000 estudiantes por año, se examina a todo un grupo de edad. Algunos países utilizaron muestras mucho más grandes de las necesarias para permitir comparaciones entre regiones.
Cada estudiante toma una prueba por computadora de dos horas de duración. Parte del examen es de opción múltiple y otra parte incluye respuestas más completas. Hay seis horas y media de material de evaluación, pero no se evalúa a cada estudiante en todas las partes. Después de la prueba cognitiva, los estudiantes participantes pasan casi una hora más respondiendo un cuestionario sobre sus antecedentes, incluidos hábitos de aprendizaje, motivación y familia. Los directores de escuela rellenan un cuestionario que describe la demografía de la escuela, su financiación, etc. En 2012, a los participantes se les ofreció, por primera vez en la historia de las pruebas y evaluaciones a gran escala, un nuevo tipo de problema, es decir, problemas interactivos (complejos) que requieren exploración. de un novedoso dispositivo virtual. [24] [25]
En países seleccionados, PISA comenzó a experimentar con pruebas adaptativas por computadora .
Los países pueden combinar PISA con pruebas nacionales complementarias.
Alemania lo hace de forma muy amplia: al día siguiente del examen internacional, los estudiantes realizan un examen nacional llamado PISA-E (E=Ergänzung=complemento). Los ítems de prueba de PISA-E están más cerca de TIMSS que de PISA. Mientras que sólo unos 5.000 estudiantes alemanes participan en los exámenes nacionales e internacionales, otros 45.000 se presentan únicamente al examen nacional. Esta gran muestra es necesaria para permitir un análisis por estados federales. Tras un desacuerdo sobre la interpretación de los resultados de 2006, la OCDE advirtió a Alemania que podría retirarle el derecho a utilizar la etiqueta "PISA" para las pruebas nacionales. [26]
Desde el principio, PISA se diseñó teniendo en mente un método particular de análisis de datos. Dado que los estudiantes trabajan en diferentes cuadernillos de prueba, las puntuaciones brutas deben "escalarse" para permitir comparaciones significativas. Por lo tanto, las puntuaciones se escalan de modo que el promedio de la OCDE en cada dominio (matemáticas, lectura y ciencias) sea 500 y la desviación estándar sea 100. [27] Esto es cierto sólo para el ciclo inicial de PISA cuando se introdujo la escala por primera vez, aunque posteriormente Los ciclos se vinculan con los ciclos anteriores a través de métodos de vinculación de escalas TRI. [28]
Esta generación de estimaciones de competencia se realiza utilizando una extensión de regresión latente del modelo de Rasch , un modelo de la teoría de respuesta al ítem (TRI), también conocido como modelo de condicionamiento o modelo poblacional. Las estimaciones de competencia se proporcionan en forma de los llamados valores plausibles, que permiten estimaciones insesgadas de las diferencias entre grupos. La regresión latente, junto con el uso de una distribución de probabilidad previa gaussiana de las competencias de los estudiantes, permite estimar las distribuciones de competencia de los grupos de estudiantes participantes. [29] Los procedimientos de escalamiento y acondicionamiento se describen en términos casi idénticos en los Informes Técnicos de PISA 2000, 2003, 2006. NAEP y TIMSS utilizan métodos de escalamiento similares.
Todos los resultados de PISA están tabulados por país; Los ciclos PISA recientes tienen resultados provinciales o regionales separados para algunos países. La mayor parte de la atención pública se concentra en un solo resultado: las puntuaciones medias de los países y sus clasificaciones entre sí. Sin embargo, en los informes oficiales, las clasificaciones país por país no se dan como simples tablas de clasificación sino como tablas cruzadas que indican para cada par de países si las diferencias en las puntuaciones medias son estadísticamente significativas (es poco probable que se deban a fluctuaciones aleatorias en el muestreo de estudiantes). o en el funcionamiento del artículo). En los casos favorables, una diferencia de 9 puntos es suficiente para considerarse significativa. [ cita necesaria ]
PISA nunca combina las puntuaciones de las áreas de matemáticas, ciencias y lectura en una puntuación general. Sin embargo, los comentaristas a veces han combinado los resultados de las pruebas de los tres dominios en una clasificación general del país. Este metanálisis no cuenta con el respaldo de la OCDE, aunque los resúmenes oficiales a veces utilizan puntuaciones del dominio principal de un ciclo de pruebas como indicador de la capacidad general de los estudiantes.
Los resultados de PISA 2018 se presentaron el 3 de diciembre de 2019, e incluyeron datos de alrededor de 600.000 estudiantes participantes en 79 países y economías, con el área económica de China de Beijing , Shanghai , Jiangsu y Zhejiang emergiendo como la de mejor desempeño en todas las categorías. [30] Tenga en cuenta que esto no representa la totalidad de China continental. [31] Los resultados de lectura para España no se publicaron debido a anomalías percibidas. [32]
(China) La participación de China en la prueba de 2012 se limitó a Shanghai , Hong Kong y Macao como entidades separadas. En 2012, Shanghai participó por segunda vez, encabezando nuevamente la clasificación en las tres materias, además de mejorar las puntuaciones en las materias en comparación con las pruebas de 2009. La puntuación de Shanghai de 613 en matemáticas estuvo 113 puntos por encima de la puntuación media, lo que sitúa el rendimiento de los alumnos de Shanghai unos 3 años escolares por delante del de los alumnos de los países promedio. Los expertos en educación debatieron hasta qué punto este resultado reflejaba la calidad del sistema educativo general en China , señalando que Shanghai tiene mayor riqueza y profesores mejor pagados que el resto de China. [39] Hong Kong ocupó el segundo lugar en lectura y ciencias y el tercero en matemáticas.
Andreas Schleicher , jefe de división y coordinador de PISA, afirmó que las pruebas PISA administradas en la China rural han producido algunos resultados que se acercan al promedio de la OCDE. Citando más investigaciones de la OCDE aún no publicadas, dijo: "De hecho, hemos hecho Pisa en 12 de las provincias de China. Incluso en algunas de las áreas más pobres se obtiene un desempeño cercano al promedio de la OCDE". [40] Schleicher cree que China también ha ampliado el acceso a la escuela y se ha alejado del aprendizaje de memoria, [41] obteniendo buenos resultados tanto en evaluaciones memorísticas como en evaluaciones más amplias. [40]
En 2018 las provincias chinas que participaron fueron Beijing , Shanghai , Jiangsu y Zhejiang . En 2015, las provincias participantes fueron Jiangsu, Guangdong , Beijing y Shanghai. [42] La cohorte Beijing-Shanghai-Jiangsu-Guangdong de 2015 obtuvo una mediana de 518 en ciencias en 2015, mientras que la cohorte de Shanghai de 2012 obtuvo una mediana de 580.
Los críticos de PISA responden que en Shanghai y otras ciudades chinas, la mayoría de los hijos de trabajadores inmigrantes sólo pueden asistir a las escuelas de la ciudad hasta el noveno grado y deben regresar a los lugares de origen de sus padres para cursar la escuela secundaria debido a las restricciones del hukou , sesgando así la composición del estudiantes de secundaria de la ciudad en favor de las familias locales más ricas. Un gráfico de población de Shanghai reproducido en The New York Times muestra una fuerte caída en el número de jóvenes de 15 años que residen allí. [43] Según Schleicher, el 27% de los jóvenes de 15 años de Shanghai están excluidos de su sistema escolar (y por tanto de los exámenes). Como resultado, el porcentaje de jóvenes de 15 años de Shanghai evaluados por PISA fue del 73%, inferior al 89% evaluado en Estados Unidos. [44] Después de las pruebas de 2015, la OCDE publicó estudios en profundidad sobre los sistemas educativos de unos pocos países seleccionados, incluida China. [45]
En 2014, Liz Truss , subsecretaria de Estado parlamentaria británica en el Departamento de Educación , dirigió una visita de investigación a escuelas y centros de formación de docentes en Shanghai. [46] Gran Bretaña aumentó los intercambios con profesores y escuelas chinos para descubrir cómo mejorar la calidad. En 2014, 60 profesores de Shanghai fueron invitados al Reino Unido para ayudar a compartir sus métodos de enseñanza, apoyar a los alumnos con dificultades y ayudar a formar a otros profesores. [47] En 2016, Gran Bretaña invitó a 120 profesores chinos, planeando adoptar estilos de enseñanza chinos en 8.000 escuelas subvencionadas. [48] En 2019, aproximadamente 5.000 de las 16.000 escuelas primarias de Gran Bretaña habían adoptado los métodos de enseñanza de Shanghai. [49] El desempeño de las escuelas británicas en PISA mejoró después de adoptar los estilos de enseñanza de China. [50] [51]
Finlandia, que obtuvo varias posiciones altas en las primeras pruebas, cayó en las tres materias en 2012, pero siguió siendo el país con mejores resultados en Europa, logrando su mejor resultado en ciencias con 545 puntos (quinto) y el peor en matemáticas con 519 (12º). ) en el que el país fue superado por otros cuatro países europeos. La caída en matemáticas fue de 25 puntos desde 2003, la última vez que las matemáticas fueron el foco de las pruebas. Por primera vez, las niñas finlandesas superaron por poco a los niños en matemáticas. También fue la primera vez que los alumnos de las escuelas de habla finlandesa no obtuvieron mejores resultados que los de las escuelas de habla sueca . La ex ministra de Educación y Ciencia, Krista Kiuru, expresó su preocupación por la caída general, así como por el hecho de que el número de estudiantes de bajo rendimiento había aumentado del 7% al 12%. [52]
India participó en la ronda de pruebas de 2009, pero se retiró de las pruebas PISA de 2012, y el gobierno indio atribuyó su acción a la injusticia de las pruebas PISA para los estudiantes indios. [53] India ocupó el puesto 72 entre 73 países evaluados en 2009. [54] El Indian Express informó: "El ministerio (de educación) ha llegado a la conclusión de que existía una desconexión sociocultural entre las preguntas y los estudiantes indios. El ministerio "Escriba a la OCDE y recalque la necesidad de tener en cuenta el "medio sociocultural" de la India. La participación de la India en el próximo ciclo PISA dependerá de esto". [55] El Indian Express también señaló que "Teniendo en cuenta que más de 70 países participan en PISA, no está claro si se haría una excepción para la India".
India no participó en las rondas PISA de 2012, 2015 y 2018. [56]
Un comité de Kendriya Vidyalaya Sangathan (KVS), así como un grupo de secretarios de educación constituido por el Primer Ministro de la India, Narendra Modi, recomendaron que la India participara en PISA. En consecuencia, en febrero de 2017, el Ministerio de Desarrollo de Recursos Humanos bajo la dirección de Prakash Javadekar decidió poner fin al boicot y participar en PISA a partir de 2020. Para abordar la desconexión sociocultural entre las preguntas del examen y los estudiantes, se informó que la OCDE actualizará algunas preguntas. Por ejemplo, la palabra aguacate en una pregunta puede sustituirse por una fruta india más popular, como el mango. [57]
En 2015, la OCDE consideró que los resultados de Malasia no habían alcanzado la tasa máxima de respuesta. [58] El político de la oposición Ong Kian Ming dijo que el Ministerio de Educación intentó realizar un muestreo excesivo de los estudiantes de alto rendimiento en las escuelas ricas. [59] [60]
El resultado de Suecia cayó en las tres materias en la prueba de 2012, lo que fue una continuación de una tendencia de 2006 y 2009. Experimentó la caída más pronunciada en el rendimiento en matemáticas con una caída en la puntuación de 509 en 2003 a 478 en 2012. La puntuación en lectura mostró una caída de 516 en 2000 a 483 en 2012. El país obtuvo un desempeño inferior al promedio de la OCDE en las tres materias. [61] El líder de la oposición, el socialdemócrata Stefan Löfven , describió la situación como una crisis nacional. [62] Junto con el portavoz de educación del partido, Ibrahim Baylan , señaló la tendencia a la baja en lectura como la más grave. [62]
En 2020, el periódico sueco Expressen reveló que Suecia había inflado su puntuación en PISA 2018 al no ajustarse a los estándares de la OCDE. Según el profesor Magnus Henrekson, un gran número de estudiantes extranjeros no habían sido examinados. [63] Según un artículo de Sveriges Radio, las puntuaciones pobres de los niños inmigrantes son una causa importante de la reciente disminución de las puntuaciones del examen Pisa sueco.
En la prueba de 2012, al igual que en 2009, el resultado estuvo ligeramente por encima de la media del Reino Unido, siendo la clasificación científica la más alta (20). [64] Inglaterra , Gales , Escocia e Irlanda del Norte también participaron como entidades separadas, mostrando el peor resultado para Gales, que en matemáticas ocupaba el puesto 43 entre los 65 países y economías. El Ministro de Educación de Gales, Huw Lewis , expresó su decepción por los resultados y dijo que no había "soluciones rápidas", pero esperaba que varias reformas educativas implementadas en los últimos años dieran mejores resultados en la próxima ronda de pruebas. [65] El Reino Unido tenía una brecha mayor entre estudiantes con calificaciones altas y bajas que el promedio. Hubo poca diferencia entre las escuelas públicas y privadas cuando se ajustaron según el entorno socioeconómico de los estudiantes. La diferencia de género a favor de las niñas fue menor que en la mayoría de los demás países, al igual que la diferencia entre nativos e inmigrantes. [64]
En un artículo en el Daily Telegraph , Ambrose Evans-Pritchard advirtió contra poner demasiado énfasis en la clasificación internacional del Reino Unido, argumentando que centrarse excesivamente en el desempeño académico en Asia Oriental podría haber contribuido a la baja tasa de natalidad de la zona , lo que, según él, podría perjudicar el desempeño económico en en el futuro pesaría más que una buena puntuación en PISA. [66]
En 2013, el Times Educational Suplement (TES) publicó un artículo, "¿PISA es fundamentalmente defectuoso?" de William Stewart, que detalla críticas serias a los fundamentos conceptuales y métodos de PISA propuestos por estadísticos de las principales universidades. [67]
En el artículo, se cita al profesor Harvey Goldstein de la Universidad de Bristol diciendo que cuando la OCDE intenta descartar cuestiones sospechosas de parcialidad, puede tener el efecto de "suavizar" diferencias clave entre países. "Eso es dejar de lado muchas de las cosas importantes", advirtió. "Simplemente no se comenta sobre ellos. Lo que estamos viendo es algo que resulta ser común. Pero, ¿vale la pena mirarlo? Los resultados de PISA se toman al pie de la letra como si proporcionaran algún tipo de estándar común entre los países. Pero Tan pronto como empiezas a desarmarlo, creo que todo se desmorona."
El Dr. Hugh Morrison, matemático de la Queen's University de Belfast , afirmó que encontró que el modelo estadístico subyacente a PISA contiene un error matemático fundamental e insoluble que hace que las clasificaciones de Pisa sean "sin valor". [68] Goldstein comentó que la objeción del Dr. Morrison destaca "una cuestión técnica importante", si no un "profundo error conceptual". Sin embargo, Goldstein advirtió que PISA ha sido "utilizado de manera inapropiada", afirmando que parte de la culpa de esto "recae en el propio PISA. Creo que tiende a decir demasiado sobre lo que puede hacer y tiende a no publicitar lo negativo o lo negativo". aspectos más débiles." Los profesores Morrison y Goldstein expresaron su consternación por la respuesta de la OCDE a las críticas. Morrison dijo que cuando publicó por primera vez sus críticas a PISA en 2004 y también preguntó personalmente a varios de los "altos directivos" de la OCDE sobre ellas, sus puntos fueron recibidos con "absoluto silencio" y aún no han sido abordados. "Me sorprendió lo poco comunicativos que eran", dijo a TES. "Eso me hace sospechar". "Pisa ignoró firmemente muchas de estas cuestiones", afirma. "Todavía estoy preocupado". [69]
El profesor Svend Kreiner, de la Universidad de Copenhague , coincidió: "Uno de los problemas que todo el mundo tiene con PISA es que no quieren discutir cosas con personas que critican o hacen preguntas sobre los resultados. No querían hablar con mí en absoluto. Estoy seguro que es porque no pueden defenderse. [69]
Desde 2012, algunos estados han participado en las pruebas PISA como entidades separadas. Solo los resultados de 2012 y 2015 están disponibles a nivel estatal. Puerto Rico también participó en 2015 como una entidad estadounidense separada.
Aunque los propios funcionarios e investigadores de PISA y TIMSS generalmente se abstienen de formular hipótesis sobre las grandes y estables diferencias en el rendimiento estudiantil entre países, desde 2000 ha surgido literatura sobre las diferencias en los resultados de PISA y TIMSS y sus posibles causas. [71] Los datos de PISA han proporcionado a varios investigadores, en particular Eric Hanushek , Ludger Wößmann , Heiner Rindermann y Stephen J. Ceci, material para libros y artículos sobre la relación entre el rendimiento estudiantil y el desarrollo económico, [72] democratización y salud. ; [73] así como el papel de factores educativos únicos como los exámenes de alto riesgo, [74] la presencia o ausencia de escuelas privadas y los efectos y el momento del seguimiento de las habilidades. [75]
David Spiegelhalter de Cambridge escribió: "Pisa presenta incertidumbre en las puntuaciones y clasificaciones; por ejemplo, se dice que la clasificación del Reino Unido entre los 65 países está entre 23 y 31. No es prudente que los países basen la política educativa en sus resultados de Pisa. como lo hicieron Alemania , Noruega y Dinamarca después de haber obtenido malos resultados en 2001." [76]
Según un artículo de opinión de Forbes , algunos países como China , Hong Kong , Macao y Argentina seleccionan muestras de PISA sólo de las áreas mejor educadas o de sus estudiantes con mejor desempeño, sesgando los resultados. [77]
Según una carta abierta a Andreas Schleicher , director de PISA, varios académicos y educadores afirmaron que "las pruebas de la OCDE y Pisa están dañando la educación en todo el mundo". [78]
Según O Estado de São Paulo , Brasil muestra una gran disparidad al clasificar los resultados entre escuelas públicas y privadas, donde las escuelas públicas estarían peor que Perú, mientras que las privadas estarían mejor que Finlandia. [79]
[inserte aquí el rango de puntos que se considera a la par]
Los resultados de competencia lectora de PISA 2006 no son reportado para los Estados Unidos debido a un error en la impresión de los folletos de prueba.
Además, como resultado del error de impresión, el rendimiento medio en matemáticas y ciencias puede estar mal estimado en aproximadamente 1 punto.
El impacto está por debajo de un error estándar.