La cobertura de FEDEA a las pruebas CDI de 6º de Primaria (1ª Parte)

“Los Determinantes del Éxito en la Educación Primaria en España”. Fundación FEDEA. Marzo de 2010.

(Fé de erratas: donde dice España debe decir Comunidad de Madrid)

El trabajo reseñado es un prototipo de los estudios econométricos aplicados a la Educación. Las conclusiones que se extraen y el uso que se hace de todo ello son peculiares. Hay algunos otros trabajos de este tipo sobre las CDI de 6º de Primaria… pero no son éste.

En la Introducción se lee: (las citas aparecen siempre en azul sangrado)

“El objetivo de este trabajo es contribuir al debate sobre la educación en España a través de un enfoque más científico y menos partidista de lo habitual hoy en día en los medios de comunicación y en la arena política.”

Nos vamos a dedicar, por tanto, en primer lugar a la crítica técnica del trabajo de FEDEA, en sus aspectos más relevantes.

1.- Empezamos negando la mayor:

Cuando tenemos datos de muestras, deducimos cómo serán los de la población total, con un margen de error (inferencia estadística). Pero cuando tenemos los datos censales, tenemos ya los de toda la población. Sabemos lo que sucede en realidad. De otra forma: los datos de la población ya no se deducen, simplemente se DESCRIBEN.

“Se observa que los colegios privados y concertados presentan un rendimiento académico significativamente mejor que el de los colegios públicos y que esa diferencia es especialmente notable entre colegios privados y públicos.” (apartado 4.2)

Se supone que "rendimiento académico" se refiere a la nota obtenida en las pruebas CDI. Ni siquiera se molestan en aportar las cifras en las que sustentar tal afirmación. Las ofreceremos a continuación.

La costumbre de pensar en muestras debe ser enfrentada a las siguientes descripciones de los datos poblacionales que han servido de partida al estudio

DESCRICIÓN NUMÉRICA:

	CALIFICACIONES  GLOBALES POR CENTROS  CDI – 2009
	Centros	N	μ	σ
	Públicos	733	5,23	1,1
	Concertados	391	5,68	0,98
	Privados	102	6,35	1,05
	TOTAL	1226	5,47	1,11

DESCRIPCIÓN GRÁFICA:

Nota: Las líneas de colores para cada centro NO SON ACUMULATIVAS.

La línea negra sí es la suma de los tres tipos de centro.

Entre los colegios con mayores calificaciones totales hay tantos públicos como privados o concertados. Midan lo que midan las CDI (rendimiento, no) los mejores centros públicos son tan competentes en ello como los mejores concertados o privados.

DESCRIPCIÓN VERBAL:

Los 102 centros privados (suspenden 7) obtienen una media global de 6,35. Los 102 primeros colegios públicos obtienen una media global de 6,88. La nota más baja de éstos es 6,41.

Los 391 centros concertados (suspenden 83) obtienen una media global de 5,68. Los 391 primeros colegios públicos obtienen una media global de 6,03. La nota más baja de éstos es 5,19.

Como la Escuela Pública llega hasta donde no llega la Concertada y hasta donde no quiere llegar la Privada, su resultado global parece resentirse. Pero incluso aunque se tratara de una competición por equipos (lo que claramente no es el caso) deben considerarse los resultados de sus primeros componentes.

Item más, los 493 centros Privados o Concertados (suspenden 90) obtienen una media global de 5,81. Los 493 primeros centros Públicos (suspenden 39) obtienen una media global de 5,83. De éstos, la nota más baja es de 4,85.

Fin de las descripciones.

¿Seguro que con los datos censales descritos podemos decir que los centros privados son mejores que los públicos?

La mayor grandeza de la Educación Pública es su vocación de Servicio Público: “De Todos para Todos” es mucho más que un acertado eslogan; es una certera descripción de lo que siempre será la Escuela Pública. Sus centros entre los mejores, pero también donde la Concertada no está y a la Privada no se la espera.

Empezamos considerando que los datos censales (que son reales, no muestrales) tienen un error de estimación  y terminaremos afirmando que la realidad está equivocada porque no se quiere adaptar a nuestras ideas…

En todo el estudio se tratan los datos censales como si fueran de muestras.

2.- La troceada Variable Dependiente:

Pretende el estudio valorar el éxito en la Educación Primaria por las diversas calificaciones de un examen de lápiz y papel. La doble reducción es brutal: de Educación a Enseñanza y de ésta a simplemente adquisiciones académicas peculiares como las de las CDI.

Los datos de nuestro análisis empírico proceden de un examen estandarizado realizado cada año a los alumnos de 6º curso (de entre 12 y 13 años) de todos los colegios de enseñanza primaria (unos 1.200) de la Comunidad Autónoma de Madrid. El examen se denomina “prueba de Conocimientos y Destrezas Indispensables (C.D.I.)”…

Nuestras medidas de rendimiento de los alumnos son las puntuaciones estandarizadas con respecto a la media anual en cada una de esas cinco materias. (apartado 3)

Ni las pruebas están estandarizadas, ni miden rendimiento: sólo hay que reparar en su nombre. Ya lo hemos comentado en otros post anteriores; las pruebas de rendimiento miden hasta dónde es capaz cada alumno de llegar, lo que no es el caso de las CDI.

Los ejercicios no pasan por ningún proceso previo de estandarización, ni las puntuaciones obtenidas se modifican posteriormente por ningún procedimiento: son siempre puntuaciones brutas totales año tras año, por mucho que varíen los ejercicios. Por otra parte, transformar puntuaciones directas en típicas (en el estudio, con media de cero y parece que desviación típica la que resulte en cada caso) no es lo mismo que estandarizar/normalizar las puntuaciones, entendiendo por ello que se ajusten a una distribución normal.

Insistimos en que los datos son censales, con la distribución que tengan. En algunos casos, claramente alejados de la “normalidad“. Para eso hemos incluido la suma de todos los centros en la gráfica anterior (línea negra): a pesar de representar el máximo de agregación de los datos, por referirse a la nota total por centro, su distribución dista mucho de parecer una “campana”. ¡Y eso que agrupa a 1226 centros!.

Solo con el supuesto de normalidad podemos hablar indistintamente según el caso de puntuaciones típicas  o de percentiles, buscando el clásico efecto de indicar en percentiles lo que queremos aparentar grande y en típicas lo que queremos aparentar pequeño.

De todas formas, el estudio no utiliza la nota total obtenida por los alumnos y los centros en las pruebas CDI, sino resultados parciales, que se solapan en algunos casos.

El examen mide lo que las autoridades consideran Competencias y Destrezas Indispensables, o C.D.I., en matemáticas, lengua, dictado, lectura y conocimientos generales. (apartado de Introducción)

Las cinco pruebas citadas no están separadas unas de otras. La estructura que realmente tiene el examen podemos encontrarla, por ejemplo, en el correspondiente Informe del Consejo Escolar de la Comunidad de Madrid:

“La prueba versa sobre las áreas de Lengua y de Matemáticas y se estructura de la siguiente forma:

—— Área de Lengua (20 puntos)

• Dictado (10 puntos)

• Comprensión de un texto (5 puntos)

• Cultura general (5 puntos)

—— Área de Matemáticas (20 puntos)

• Ejercicios (10 puntos)

• Problemas (10 puntos)”

(Cap. C del Informe del Consejo Escolar de la C.M.)

Así que de las cinco partes estudiadas, en una no se diferencias sus componentes (Matemáticas). Las otras tres: Dictado, Lectura (que es la prueba de comprensión de un texto escrito) y Conocimientos Generales (que es la prueba de Cultura General) son las que forman la prueba de Lengua. Finalmente, se ignora absolutamente la Nota Total.

¿Por qué no se utiliza en el estudio la nota total de los alumnos y de los centros en las pruebas CDI?. Hoy no toca especular.

Lo que inevitablemente sucede es que al trocear la prueba, la relevancia de los resultados parciales se reduce hasta las puertas del absurdo. Así, por ejemplo, reproducimos TODA la prueba de “Conocimientos Generales” (la numeración se inicia en el 6):

“Cultura General” – CDI 2009

6.- Escribe a la derecha de cada nación su capital: Italia, Rumanía, Suecia

7.- Ordena cronológicamente los siguientes inventos: El telescopio, La imprenta, La luz eléctrica.

8.- ¿Cuántos siglos son 400 años?

9.- Escribe lo que puedes medir con: termómetro, pluviómetro, cinta métrica.

10.- Indica el mar u océano en que desemboca cada uno de los siguientes ríos: Ebro, Tajo, Guadalquivir.

Estas cinco preguntas son las que soportan todo el análisis que realiza el estudio sobre el éxito de la Educación en Primaria medido por los “Conocimientos Generales”, apartado de los que más resultados explicativos se extraen. Por cierto, que la media de los alumnos en este apartado fue de 5,15. (dato del Consejo Escolar de la C.M).

En ocasiones resulta desesperante que, aquellos que tanto critican el sistema educativo, esperen por otra parte tan poco de él.

Hasta aquí. Aunque se pueden fundamentar muchas más críticas técnicas al Informe “Los Determinantes del Éxito en la Educación Primaria…”, ya nos hemos cansado de jugar, no siempre con éxito, a “nosotros somos apolíticos, sólo nos interesa la Ciencia”. Dejaremos para posteriores ocasiones la crítica al uso que algunos hacen de este tipo de estudios y al de las conclusiones a las que llega (o no llega) el Informe concreto de FEDEA.