¿Es el informe PISA un buen indicador para evaluar el sistema educativo? Cuando se leen las conclusiones que los medios de comunicación han publicado en relación a los resultados del informe PISA (Programa Internacional para la Evaluación de Estudiantes) 2018, uno no puede más que alarmarse y tirar de ese pesimismo que acompaña a los españoles, y que consiste en únicamente permitirse un cumplido si es para hablar del buen tiempo o sobre la gastronomía. Con todo lo demás… “¡Esto solo pasa en España!”.
Dicha reprimenda ya se ha convertido en tradición, y cada trienio se saca la fusta con la publicación de los resultados del informe PISA: el estudio mide el rendimiento académico de alumnos y alumnas de 15 años (en España, este nivel corresponde a 4º curso de Educación Secundaria) en diferentes países, y siempre sitúa a España en mala posición; pero, curiosamente, no está elaborado por una institución académica, sino por la OCDE (Organización para la Cooperación y el Desarrollo Económicos), una entidad de carácter económico.
Aunque este artículo no se centre en ello, resulta interesante analizar qué aptitudes y contenidos tiene en cuenta el informe PISA y, en consecuencia, si se puede considerar una herramienta válida para evaluar los sistemas educativos. Este únicamente examina a los estudiantes en matemáticas, ciencias, comprensión lectora y, de forma adicional, en educación financiera. Teniendo en cuenta que los políticos han adoptado esta medición como la más determinante, no es de extrañar que las humanidades y las enseñanzas artísticas casi hayan desaparecido del currículum académico con la LOMCE, para centrarse en otras materias que previsiblemente mejoran los resultados de la prueba internacional.
Desigualdad territorial en España
El informe PISA también parece haber creado otra tradición, la de confirmar, edición tras edición, la brecha entre los resultados académicos del Norte y el Sur de España, tal como se observa en la tabla que muestra los resultados de la prueba de matemáticas. ¿Por qué hay tanta diferencia entre los alumnos del Norte y el Sur de España? ¿Es la calidad de la enseñanza en el Norte mejor que la del Sur? ¿Tienen los alumnos del sur capacidades más limitadas? ¿Se debe a una cuestión sociocultural?
Si bien se cuestiona la utilidad del informe PISA, los datos aportan información muy interesante acerca del carácter económico, social y cultural de los alumnos, haciendo posible un análisis más detallado. Esto permite explorar y cuantificar la relación que existe entre los resultados académicos y otras variables haciendo uso del análisis de regresión, una técnica estadística muy sencilla.
Antes de comenzar, conviene saber que aplicando el análisis de regresión lineal se obtienen dos medidas que sirven para cuantificar y dar validez a la relación entre dos variables: el coeficiente β y el coeficiente de determinación.
Aunque los nombres sean engorrosos y puedan dar lugar a confusión, es muy sencillo de entender. Siempre que se lleva a cabo un análisis de regresión, se obtendrá un coeficiente β, que cuantifica la relación existente entre dos variables. Sin embargo, el coeficiente de determinación es el que mide la calidad del resultado que predice el coeficiente β.
Es decir, se pueden aplicar regresiones entre dos variables cualesquiera y siempre se obtendrá un coeficiente β; pero es el coeficiente de determinación el que permite determinar si esa relación es espuria (que no existe conexión lógica entre ambas), tomando valores entre 0 y 1, siendo este valor mayor cuanto más verídica sea la relación entre las variables.
Por ejemplo, se puede relacionar la tasa de natalidad con la población de cigüeñas en diferentes países obteniendo un coeficiente β que cuantificará esta relación, aunque esto no significa que exista un vínculo real entre ambas, sino que el coeficiente de determinación será el que indique la validez de dicha relación.
Buscando las razones de la diferencia entre el Norte y el Sur
Para comenzar el análisis, parece razonable sospechar que la brecha entre Norte y Sur se deba a una diferencia intrínsecamente relacionada con la territorialidad, es decir, que un alumno con las mismas características tendría mayor rendimiento académico si estudiase en el Norte que si lo hiciera en el Sur; ya sea porque los centros educativos ofrecen una enseñanza de mayor calidad o por otros motivos sociales y culturales de su entorno.
Por ello, se va a analizar la relación entre los resultados académicos y el lugar de residencia, distinguiendo a los alumnos mediante el uso de una variable binaria geográfica, que toma el valor 0 si el alumno es del sur y el valor 1 si el alumno es del norte; entendiéndose que las regiones del sur son las que están por debajo de la media nacional -481 puntos- y las del norte las que superan dicha media.
El análisis muestra que no hay una relación aparente entre los resultados académicos y el territorio al que pertenecen los estudiantes. El coeficiente β tiene un valor positivo e igual a 15.4, lo que indica que, en promedio, los alumnos del norte superan en su calificación a los del sur en esta cifra. Sin embargo, se obtiene un coeficiente de determinación de 0.09, lo que revela que, a nivel individual, el territorio al que pertenece un alumno no es indicativo de la calificación que ha obtenido en el informe PISA.
Tratando de averiguar a qué se debe entonces esta diferencia entre regiones, se pueden buscar otras relaciones que expliquen los resultados académicos. Para ello, se utilizará el índice ESCS (Economics, Social and Cultural Status), que mide el estatus económico, social y cultural de un alumno, calculándose en base al nivel educativo y la profesión de sus tutores legales, así como a sus recursos domésticos. Este índice toma valores entre -3 y +3, siendo mayor en tanto que el alumno goce de un estatus más elevado.
En este caso, el coeficiente β resulta ser de 23.3, lo que quiere decir que, por cada punto adicional que un alumno tenga en el índice ESCS, se espera que su resultado mejore en 23.3 puntos. No obstante, lo más interesante es el valor del coeficiente de determinación, que resulta ser de 0.68, lo cual implica que el estatus socioeconómico del alumno sí es un buen indicador de su rendimiento académico.
Otros estudios muy reveladores serían los que analizan de forma segregada los resultados de los alumnos en función de su estatus socioeconómico, clasificándolos por percentiles y comparando los resultados por territorios. Este tipo de análisis sí que daría un resultado más veraz sobre las diferencias de calidad en los sistemas educativos, pues analiza a los alumnos en igualdad de condiciones.
El problema es la pobreza
Por todo lo anterior, se puede concluir que, aunque en promedio el norte obtenga mejores resultados que el sur, cuando se analiza a nivel individual, la región donde reside un alumno no determina su resultado en el informe PISA.
El análisis estadístico realizado permite refutar de forma objetiva diversos argumentos que tratan de achacar estas diferencias en los resultados a una hipotética menor calidad de la enseñanza en las regiones del sur. Incluso hay quienes intentan atribuirlo a supuestas diferencias culturales, acusando a los habitantes del sur de tener una menor cultura del esfuerzo y argumentos similares, siendo este pensamiento el reflejo del imaginario colectivo que una gran parte de los ciudadanos españoles tienen sobre el Sur del país.
Para añadir más evidencia a todo lo anterior, solo hace falta consultar cualquier indicador económico, como la tasa de desempleo o la de población infantil en riesgo de pobreza, y observar la relación que existe entre la prosperidad económica y los rendimientos académicos.
Por lo tanto, se puede afirmar que el problema de la educación en el Sur de España no reside en un peor sistema educativo, ni en una menor capacidad de los alumnos, ni en diferencias culturales. El motivo de la brecha entre los resultados académicos del Norte y el Sur reside en la pobreza.
Comentarios