Desmitificando. Lo que PISA no cuenta

  • España se ha quedado fuera del informe principal dedicado a la comprensión lectora.
  • A pesar de la enorme influencia de PISA en la educación, existen críticas muy fundadas sobre su funcionamiento.

Lo que PISA no cuenta

PISA evalúa las habilidades de los estudiantes de 15 años en Lectura, Matemáticas y Ciencias cada tres años y establece un ranking de países según el rendimiento en cada competencia.

En las primeras ediciones, Finlandia ocupó el puesto número uno, pero en las últimas dio paso a Shanghái (China), Singapur y Hong-Kong, con sistemas educativos muy diferentes. Esto muestra que “copiar” los métodos de educación sin tener en cuenta las características culturales de cada país no garantiza una mejora.

A pesar de la enorme influencia de PISA en la educación, existen críticas muy fundadas sobre su funcionamiento.

A continuación, se muestran algunos puntos débiles de PISA con ejemplos referidos a temas que la propia evaluación considera muy importantes y cuya detección resulta bastante obvia:

Enunciados inadecuados

Para medir la oportunidad de aprender, PISA plantea preguntas sobre conceptos matemáticos como “ecuación lineal” o “vectores”, y el alumno debe elegir su respuesta entre las opciones:

  1.  No lo he visto nunca.
  2.  Lo he visto una o dos veces.
  3.  Lo he visto varias veces.
  4.  Lo he visto a menudo.
  5.  Lo conozco bien, entiendo el concepto.

¿A qué opción debe responder un alumno al que le hayan explicado el concepto varias veces y que lo entienda bien? En consecuencia, las conclusiones de analizar las respuestas a este ítem, ¿se refieren a lo que los alumnos creen que saben o a su exposición/conocimiento de los conceptos?

Sesgo cultural

Un objetivo básico de la evaluación PISA es que sus instrumentos de medida sean aplicables y válidos en contextos culturales diferentes. En 2012, para evaluar la familiaridad con conceptos matemáticos incluyó trece reales y tres falsos: “número genuino”, “fracción declarativa” y “escala subjuntiva”. Esto posibilitó usar la técnica de preguntas trampa y elaborar el índice corregido FAMCONC (familiaridad con los conceptos matemáticos).

En contra de lo esperado, la relación de FAMCONC con las Matemáticas es muy distinta al agrupar los países por zonas geográfico-culturales. En la gráfica 1 se muestran por un lado el conjunto de países europeos o anglosajones y, por otro, el resto de países.

Gráfica 1. Relación entre FAMCONC y Matemáticas según la zona geográfica y cultural de los países.

Si el sesgo cultural se hubiese eliminado las dos gráficas serían similares, pero en Europa y los países con cultura anglosajona FAMCONC y Matemáticas son independientes, mientras que en el resto la relación es creciente y muy fuerte.

Curiosamente, PISA no hace referencia alguna a estos problemas, ni empleó en 2015 estas técnicas de corrección.

Cambios en los cuestionarios y seguimiento de resultados

PISA señala la importancia de analizar la evolución temporal de sus indicadores. Sin embargo, son frecuentes los cambios en los enunciados y las definiciones de los índices, sin que se explique la causa.

Un ejemplo de esta situación se produjo al estudiar la relación de la Enseñanza Dirigida por el Docente (EDD) con el rendimiento (en este estilo docente priman las clases magistrales, frente a la Enseñanza Basada en la Investigación, caracterizada por trabajo por proyectos, por ejemplo). En 2012, se empleó un cuestionario para Matemáticas y otro muy diferente en 2015 para Ciencias. Ambos eran generales y sin preguntas específicas ni de Ciencias ni de Matemáticas.

Por otro lado, en 2012 la relación de EDD en Matemáticas con el rendimiento en esta materia es casi idéntica a la que tiene con Ciencias y Lectura; en 2015 ocurre lo mismo con la EDD de Ciencias (ver la gráfica 2 para Ciencias y Matemáticas). Este resultado es sorprendente porque las tres materias se imparten de manera independiente, lo que plantea dudas sobre qué mide el índice que PISA define para cuantificar la EDD.

Gráfica 2. Relación entre Ciencias y Matemáticas en 2012 y 2015.

En la gráfica 3 se observan los cambios de signo de 2015 respecto a 2012, que afectan a la gran mayoría de los países (puntos rojos), de la correlación de EDD con las Matemáticas y Ciencias.

Gráfica 3. Cambio en la relación de Matemáticas y EDD de 2012 a 2015.

Dados la modificación de los cuestionarios, el cambio de signo en las correlaciones y la ausencia de especificidad de EDD, ¿qué fiabilidad puede darse a las conclusiones de PISA sobre este tema?

Cómo aborda PISA los resultados inesperados

Un aspecto fundamental en una investigación es detectar los resultados inesperados y dar una explicación coherente y bien fundamentada. Sin embargo, es muy frecuente que ante este tipo de situaciones PISA recurra a generalidades o explicaciones sin base en los datos del estudio.

Por ejemplo, en la edición del año 2015 PISA compara la relación de las Matemáticas con las metodologías de enseñanza: la dirigida por el docente (EDD) y la basada en la investigación (EBI). En sus resultados obtiene una correlación de +0,31; cabría esperar, no obstante, que fuera negativa pues tales metodologías son casi contrapuestas: si un 70 % del tiempo de trabajo en el aula lo hacen los estudiantes, las explicaciones magistrales del docente se reducen a un 30 %, y viceversa.

PISA explica este hecho señalando que hay una correlación débil entre ellas y se pregunta a qué dedican las horas de clase los estudiantes con valores bajos en las dos metodologías. Ambas afirmaciones son vagas e insuficientes. En cualquier caso, PISA detecta el problema pero no estudia el origen ni las implicaciones de este resultado.

Otro resultado inesperado es la relación negativa de la EBI con el rendimiento. Según PISA, esta metodología es muy importante ya que los estudios previos indican que puede mejorar el aprendizaje y la adquisición de destrezas como el razonamiento crítico. Sin embargo, sus resultados van en otra dirección pues la EBI tiene relación negativa con Matemáticas en 56 países.

Los comentarios de PISA para explicar este hecho son:

  • El laboratorio solo mejora el aprendizaje si los estudiantes realizan actividades manuales y manejan conceptos.
  • El tiempo dedicado a los laboratorios se emplea de manera ineficiente.
  • En ocasiones las actividades manuales se utilizan para hacer más atractiva la ciencia a los estudiantes con problemas.
  • Los estudiantes solo trabajan realmente cuando hay buen material y el profesor está bien formado.

Estas explicaciones carecen de validez por varias razones:

  • Los resultados son idénticos para Lectura y Matemáticas, que nada tienen que ver con los laboratorios de ciencias.
  • La buena formación del profesorado y la calidad del material son aplicables a cualquier método de enseñanza.
  • Claramente PISA evita un análisis profundo para detectar las causas de este resultado, como comprobar la representatividad del indicador que usa para cuantificar la EBI.

En resumen, la fiabilidad de las conclusiones de PISA ha de ponerse en entredicho por:

  • Los errores en la elaboración de los cuestionarios.
  • El sesgo cultural que no han sido capaces de eliminar.
  • Resultados contradictorios y dificultades para el seguimiento longitudinal.
  • Explicaciones superficiales ante resultados inesperados.

España se queda sin buena parte de la información de PISA 2018 por la incongruencia de los datos

Estabilidad en la serie histórica de matemáticas y ciencas, aunque con importantes diferencias, a la baja, en comunidades como Madrid o Catalunya.

Cada tres años la expectativa ante los resultados del famoso informe de la OCDE sobre los sistemas educativos es enorme. Medios de comunicación y administraciones llevan tiempo preparándose ante la nueva ronda de datos de la organización que analiza casi 80 sistemas de todo el planeta. Pero este año, España se ha quedado fuera del informe principal dedicado a la comprensión lectora.

Hace unos días informó la OCDE de que había encontrado niveles de respuestas incongruentes en los exámenes de chicas y chicos españoles de 15 años. Un porcentaje de estos, el 5%, en diferentes partes del país, había respondido demasiado deprisa a muchas preguntas sobre velocidad delectura y, además, se había hecho siguiendo patrones de respuesta (todas sí, todas no, etc.).

El problema es que esta es la parte principal del informe de este año y tiene incidencia en no pocos de los resultados y análisis que arroja el informe cada tres años. No solo los datos relativos a la comprensión lectora, que las autonomías ya conocían hace meses, sino otros como el nivel de equidad del sistema educativo en relación a estos resultados; las diferencias entre chicas y chicos, los resultados del alumnado de origen migrante o de cada nivel socioeconómico.

Tan solo se han conocido los resultados de ciencias y matemáticas.

La organización asegura que aunque se han producido algunas respuestas extrañas, estas no han influido en los datos finales en ambas competencias. Eso sí, los datos tampoco son muy buenos. Ni muy malos. De hecho, se constata que el alumnado de 15 años español se encuentra más o menos en la misma puntuación, en el mismo lugar de la tabla, desde hace años. En Matemáticas obtienen 481 puntos y 483 en ciencias (489 para la OCDE en ambos casos).

Diferencias autonómicas

Como todos los años, hay enormes diferencias entre comunidades autónomas. Mientras Navarra alcanza en matemáticas 503 puntos, en el otro punto de la tabla se encuentra Ceuta, con 411 puntos. Solo hay que echar la cuenta para saber qué supone esto, cuando la OCDE avisa de que una diferencia de 30 puntos es equivalente a un curso lectivo de formación. En Ciencias es Galicia la que lidera el ranking, con 511 puntos frente a los 415 de Ceuta.

Castilla-La Mancha (479), Murcia (474), Valencia (473), Estremadura (470), Andalucía (467) y Canarias (460) se encuentran por debajo de la media de España en competencia matemática. También las dos ciudades autónomas, territorios que gestiona directamente el Ministerio de Educación. En cuanto a la competencia científica, prácticamente se repiten las mismas en idéntico orden: Baleares (482), Murcia (479), Valencia (478), Extremadura (473), Andalucía (471) y Canarias (470).

En la parte alta de la competencia matemática: además de Navarra, ya mencionada, se encuentran Castilla y León (502), Euskadi (499), Cantabria (499) y Galicia (498). En la compentencia científica: Galicia (511), Castilla y León (501), Asturias (496), Cantabria (495) y Aragón (493).

Desde la edicion anterior, de 2015 y conocida en 2016, ha habido algunas variaciones, no muy grandes. Aunque sí algunas sorpresas desagradables, sobre todo, para la Comunidad de Madrid. En 2015 consiguió 503 puntos en matemáticas (frente a los 486 de 2018, 19 puntos de diferencia) y en ciencias consiguó 516 puntos frente a los actuales 487, 29 puntos menos. Una situación que denunciara el consejero de Educación en una rueda de prensa en la que, incluso, aseguró que habían pedido a la OCDE que retirase todos los datos de España en PISA por la posible contaminación de las cifras por los errores detectatos en la prueba de lectura.

Fuentes próximas al Ministerio apuntan a varias causas posibles para esta varianza de los datos. La principal respuesta podría estar en la repercusión que los recortes, sobre todo, desde 2012, han tenido en el sistema educativo. Principalmente en las medidas de atención a la diversidad, tanto por la reducción de personal especializado como por el aumento de la ratio alumno/profesor como, por ejemplo, el hecho de que en los cursos de PMAR haya la mitad de alumnos de los que había en diversificación curricular. De hecho, el alumnado examinado comenzó su escolarización en el curso 2009-2010, es decir, comenzaron su educación en el momento en el que ya empezaban los primeros recortes. Según el informe PISA, la mitad de los directores de centro españoles denuncian escasez de recursos personales y materiales, el 49% exactamente. Quince puntos por encima de la media de la OCDE, del 34%.

También podría ser que el desarrollo de la Lomce, su puesta en marcha, hubiese tenido influencia en estos resultados, aunque seguramente menos acusada que la de los recortes educativos. El alumnado que en mayo de 2018 realizó las pruebas ya había cursado toda la secundaria bajo la Ley Wert. Otros factores podrían encontrarse en un mejor nivel socioeconómico y cultural de las familias españolas. Este índice explica un porcentaje aproximado del 12% del resultado del alumnado en PISA.

Por último, en la primavera de 2018 se desarrollaron unas cuantas evaluaciones externas en un breve espacio de tiempo y esto podría haber impactado en los resultados.

Algunas comunidades pierden

No solo Madrid ha perdido cancha. Otras comunidades como Catalunya han bajado sustancialmente: en 2015 sacaron 500 en matemáticas (490 en 2018) y 504 en ciencias (489 en 2018). Otras sospresas son la de Navarra en ciencias que ha pasado de 512  puntos a 492; la de Aragón, de 508 en 2015 a 493, o la de Castilla y León: de 519 a 501.

entrada-ies

Comparte:

También te podría gustar...

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.