Si queréis saber algo sobre P.I.S.A. para opinar al respecto de manera fundamentada, leer este libro (o al menos esta entrevista)

“PISA mide aptitudes que no se desarrollan en la escuela”

El sociólogo Julio Carabaña es uno de los mayores expertos en PISA de España. Sostiene este informe es "inútil para las escuelas y Gobiernos", por mucho que se intente vender lo contrario

Daniel Sánchez Caballero 28/11/2016

Está considerado el mayor experto en PISA en España. Y no porque le guste el examen más famoso de cuántos se hacen en el mundo. Más bien al contrario, Julio Carabaña (Fuente de Pedro Naharro, Cuenca, 1948), catedrático en Sociología en la Universidad Complutense de Madrid, sostiene que PISA es inútil para las escuelas y Gobiernos, por mucho que se intente vender lo contrario, y su interés queda para los investigadores. Todo ello está detallado en su libro “La inutilidad de PISA para las escuelas” (Catarata). De cara a la siguiente edición del test que realiza la OCDE, que se publicará a principios de diciembre, se atreve con un pronóstico para España. “485 otra vez”. Escrito queda.

¿Por qué afirma que PISA es inútil?

Es inútil para las escuelas y el Gobierno. El problema fundamental es que mide una cosa que ellos llaman literacia, que son aptitudes muy generales que se pueden desarrollar algo en las escuelas pero fundamentalmente no. Esto no es algo que yo necesite fundamentar porque lo dice PISA en todas sus ediciones: “Téngase en cuenta a la hora de interpretar estos datos que cuando un país está por encima de otro en las clasificaciones ello no se debe a las escuelas solamente, porque las puntuaciones PISA dependen de toda la experiencia vital de los individuos”. Eso lo advierten continuamente. Y a continuación se olvidan de ello y empiezan a hablar y razonar las cosas como si esto no fuera así.

Es que para no servir luego sacan un montón de documentos asociados (PISA in focus, evaluaciones por países, etc) en los que dicen qué hay que hacer y qué no.

Ellos venden que sus pruebas no reflejan lo que se aprende en las escuelas. Hay que matizar incluso eso. Parten de la base de que no van a medir lo que se enseña en las escuelas porque eso es inútil para la vida, son conocimientos memorísticos inútiles para la vida. Ellos van a medir lo que es realmente útil para la vida, que es lo que miden sus pruebas. Lo llaman literacia, literacy. A su vez, reconocen que esta literacia, que es lo que ellos dicen que se debe medir —tras admitir que no es lo que se enseña en las escuelas, pero que, según defienden, es lo que se deberian enseñar—, solo depende de las escuelas en muy pequeña medida. Está todo en sus informes. Hacen lo contrario de lo que dicen.

Es que igual me pongo un poco pesado, pero luego ellos lanzan recomendaciones sin parar.

Como si evaluaran las escuelas. Es contradictorio. Es una cosa que se hace mucho en realidad: te haces una objeción a ti mismo y así ya la has reconocido y a continuación la olvidas.

¿Una evaluación hecha de otra manera serviría para algo?

Claro, si las pruebas miden cosas que se enseñen en las escuelas. Así de simple. Por ejemplo, la Selectividad sirve para saber cuánto saben los alumnos en matemáticas, etc. O los exámenes de siempre, se hacen para ver si los alumnos han aprendido. ¿Cuál es el problema de los exámenes? Que no son pruebas objetivas y los contenidos y corrección no siguen criterios universales. Para eso se inventaron las pruebas objetivas. Pero no son suficientes. Porque cuando te hacen una prueba objetiva de trigonometría, por poner un caso muy específico, por el mismo diseño (respuesta múltiple, etc., la que admite una corrección automática que no dependa del corrector) hace que tenga que dejar fuera muchos elementos importantes de los contenidos. Porque no son claros, no se prestan a una respuesta múltiple… Y entonces ve que la materia se le escurre. Si además tiene que ser internacional y valer para las escuelas, entonces los contenidos se escapan por todas partes. Trigonometría, por ejemplo. En muchos países a los 15 años ni se enseña. Acabas en la literacia, que es una cosa muy general en matemáticas y ciencias. En lengua ni siquiera aspira a ser particular. En lengua se mide lo que la gente entiende cuando lee. Pero la capacidad lectora es lo mismo que la auditiva. Yo te puedo leer un texto y es lo mismo que lo haga yo o tú. Que tú entiendas un texto no depende de que lo leas o escuches. Depende de tu cultura general y de tu capacidad de comprensión general, nada que se aprenda en la escuela. Bueno, si te hablan de voltios o vatios lo entenderás si lo has aprendido en la escuela, pero esos textos los evita PISA. Pone teatro, literatura, periódicos… Ese es el problema de PISA, la gran contradicción. Es una gran empresa, ha permitido comparar y muchas cosas ya no se pueden decir después de PISA. “La enseñanza francesa, cartesiana, se basa en el sistema y el razonamiento y estructura mejor las mentes de los alumnos, que luego podrán razonar mejor”. Pues, según PISA, ni mejor ni peor que los demás. Esas cosas ya no se pueden decir, así que utilidad tiene, pero más para los investigadores que para las escuelas y los Gobiernos. Cuando un director de escuela dice “a ver cómo puedo mejorar los resultados”… En primer lugar no son resultados de la escuela y en segundo no se pueden mejorar. Tiene un problema de validez.

Y sin embargo se utiliza como excusa para cambiar esto y aquello. ¿Por que no hay otra cosa a la que agarrarse?

Es un deseo en busca de una justificación. El deseo es cambiar algo, la enseñanza. Nuestros gobernantes, como todos los del mundo, forman parte de ese deseo universal de mejorar y que ellos son parte fundamental, ¿para qué está el Gobierno si no es para mejorar? Tercero, de la falta de otra cosa que mejorar. A mi entender tenemos un enorme exceso de oferta de políticos intentando hacer cosas por los demás. Cuando llegan al Gobierno tienen que justificarlo, y para eso tiene que hacer planes de mejora. Cuando les dicen: “La educación es muy importante para el desarrollo económico”. ¿Cómo lo van a poner en duda? ¿Y cómo lo van a mejorar? “De cualquier manera que no sea contraria a mi filosofía básica”. Y una vez se ponen a buscar recomendaciones que no sean contrarias a su filosofía básica cuanto más prestigioso sea el organismo de donde venga, con más facilidad lo acepta. Se hace así una alianza entre los políticos de cada país y el organismo internacional que vive de hacer recomendaciones a los políticos. Las recomendaciones siempre son dobles, siempre ponen una vela a la izquierda y otra a la derecha. Sucede con los organismos internacionales en general. Si se pasan de liberales a continuación intentan cubrirlo por el lado socialdemócrata. PISA hace lo mismo, tiene recomendaciones para todo el espectro político. Viene el funcionario de PISA y escoge del informe la recomendación que al Gobierno de aquí le viene bien.

Cualquiera entiende que ellos hacen su trabajo e intentan darle la máxima difusión posible. Lo que mucha gente no acaba de entender es en qué momento se le concedió a la OCDE el estatus de Ministerio de Educación mundial.

Nunca ha habido necesidad de hacerlo. La OCDE se crea para vigilar la prosperidad económica de los países desarrollados. Para la prosperidad económica es importante la educación. Entonces crean una sección de educación y durante muchos años hace evaluaciones de países, dan consejos, etc. El momento más importante es cuando deciden hacer un informe y comparar los sistemas. Ni siquiera son los primeros. Hay una organización semi-privada, la IEA, que hace un examen llamado TIMSS desde el ochenta y tantos. Son los que demuestran que los estudios se pueden hacer. Pero, al hacer esas pruebas una entidad privada no tiene la repercusión que tuvo la OCDE cuando hizo PISA a partir del año 2000. Es una organización oficial, tiene el apoyo de los gobiernos y estos esperan que se haga algo grande. No lo decide nadie, se van poniendo lentamente de acuerdo y hay una fuerza de los hechos y de los medios.

Ha mencionado TIMSS. Está también PIRLS, PIAAC… ¿Tienen todos el mismo problema?

PIAAC tiene exactamente el mismo problema porque es la misma prueba que PISA pero para adultos. Mide las habilidades generales y abstractas de los adultos. Es quizá peor por lo de la edad. Te dicen que es un diagnóstico de las habilidades de una generación, pero no puedes hacer nada al respecto más que intentar arreglarlas en la escuela para los jóvenes. Así que vas a PISA, en la escuela. PISA tiene el problema general de los 15 años. ¿Quién dice que a esa edad es muy importante la diferencia? ¿Qué pasa si yo he ido más lento y lo supero a los 16? Luego vas a PIRLS, a los 9 o 10 años. ¿Y esta carrera a los 9 o 10 años? ¿Es tan importante que los alumnos de esa edad hagan tal cosa o dejen de hacerla? ¿No pueden hacerlo a los 11?

Lo que están implícitamente favoreciendo es la idea, que los pedagogos rechazan desde hace tiempo, de que hay que darse mucha prisa para hacerlo todo. Enseñar a leer a los cuatro en vez de a los cinco, integrales a los 12 en vez de a los 13, etc. Y cuanto más bajas la edad, mayor es el problema.

TIMSS y PIRLS luego tienen otro problema, que no comparan edades sino cursos y entonces la muestra está sesgada. Los alumnos de 8º o 7º en España tienen mejores resultados que los de Rusia. ¿Pero cuánta repetición hay en España? Claro, estás quitando al 40% peor. Es una anécdota, pero en otros sitios entran más tarde en la escuela, por ejemplo. El punto es que se impide la comparación porque la muestra tiene sesgos, sólo son los que han llegado a un determinado curso.

¿Una ley educativa tiene tanto impacto en la educación?

No. Hay una división de funciones que para mí es clara pero que todo el mundo se empeña en invertir. El parlamento da leyes y los gobiernos gobiernan y además proporcionan los medios. Y los profesores enseñamos. Una ley educativa sirve para ordenar. Simplifica, agiliza, aclara, dispone mejor o peor los canales para repartir los medios, etc. y cada vez más determina la política educativa. Por ejemplo, prevé cosas como “se darán medios especiales a determinados alumnos”. Su importancia es hacer todo eso. Pero carece de importancia cuando se meten donde no deben, como prescribirles a los profesores cómo deben enseñar.

La LOMCE, que es igual que la LOE en ese sentido, tiene 19 principios, de los cuales ocho se refieren a que hay que educar en la no violencia, hay que utilizar métodos que nos sean memorísticos, hay que fomentar la colaboración… Eso no es cosa suya. Eso es pura ideología que no hay que poner en la ley. Usted diga cómo se ordena el sistema y los profesores se encargarán de enseñar. Y si quiere hacer además inquisición y ver si los profesores fomentan el aprendizaje individualista, sepa que es hacer de policía e ir contra la libertad de cátedra de los profesores.

Y a la vez los grupos de profesores y sindicatos insisten en que las leyes vayan a sus ideologías favoritas. Que la pedagogía buena es la constructivista. Ahora porque está de moda. Pero en diez años cuando ya no, ¿cambiamos la ley?

¿Las leyes influyen? Pues como los guardias de tráfico. Ahora, el tráfico de la ciudad puede estar muy bien, pero lo que hace la gente puede ser poco productivo, los alumnos pueden trabajar poco, los profesores ser malos… y en eso la ley no puede influir. ¿Influyen de las leyes en los resultados de PISA? Pues si no influyen las escuelas, imagine los políticos.