Continuamos...
GRUPOS
CONTROL UTILIZADOS.
Dice el estudio en la página 30: “Los otros 38 colegios
que no fueron seleccionados pero que son comparables en esos criterios forman
un grupo de control natural. Asumiendo que estos dos grupos son comparables, no
hace falta utilizar la estrategia dif-en-dif y podemos estimar una regresión
utilizando solo los resultados del examen de 2009/10.” Se refieren a los
colegios que solicitaron el programa bilingüe el primer año y no les fue
concedido, aunque obtuvieron una alta puntuación en la convocatoria.
En concreto, no sabemos cuáles son estos colegios, pero
lo verdaderamente innovador para la ciencia estadística es el uso de lo que
podríamos llamar grupos de control QNP
“quiero-y-no-puedo”, en detalle “quiero ser bilingüe pero no me dejan”.
Prejuicios subyacentes: el programa bilingüe de la CM es lo más de lo más y a
todos los colegios les gustaría ser bilingües. Para evaluar cualquier materia,
incluido el inglés (que no entra en las CDI) falta, por lo menos, tener en
cuenta un grupo indeterminado de colegios que puede ser numeroso: el de los que
han tenido el sentido común, no han querido o no han necesitado acudir a la
convocatoria de bilingüismo, aunque podrían haberlo intentado con éxito.
Con este grupo de control obtienen el mismo resultado que
con la estrategia “Dif-en-dif”: La nota de “Cultura General” se ve afectada en
la primera promoción de colegios bilingües. Pues muy bien, ya hemos expuesto los exámenes afectados.
Efectivamente, la nota mejora. Si el contenido de la
“Cultura General” de los años 2009 y 2010 nos motivara, podríamos
intentar encontrar una explicación. ¿Será que el mayor tiempo disponible para
las preguntas, al haber reducido el dictado a la mitad ha permitido mayor
inspiración en los grupos examinados?. ¿Será que la publicación entre un año y
otro de la “Guía de Conocimientos Académicos” de la Comunidad de Madrid (buscar
en internet D.L.:M. 32.816-2010) facilitó el éxito que pretendía?...
COMPARACIÓN
ENTRE CDI 2010 Y 2011.
Nos
fijamos en los dos primeros pisos de la Tabla 12 (página 34), que en este caso
compara los 54 colegios de la segunda hornada de bilingües y su correspondiente
grupo control formado por los colegios no bilingües.
Esta
tabla nos gusta menos aún que las anteriores, porque además del 2010 al 2011 se
modificaron la estructura general de las pruebas y sus puntuaciones máximas.
- Ahora “Cultura General” se
compone de 10 cuestiones que, por cierto, empiezan a parecerse algo a la
materia de Conocimiento del Medio, y pasa de puntuarse sobre 5 a puntuarse
sobre 10.
- Dictado pasa de máximo 10
a 5.
- Lengua pasa de 20 a 10.
Queda exclusivamente como la suma de Dictado y Lectura (ésta última no cambia).
- Matemáticas pasa de 20 a 10, con un sutil cambio en su valoración que comentaremos después.
Así que volvemos a remaquetar y
reescalar la Tabla 12.
Observamos de nuevo que el grupo de la segunda promoción
de colegios bilingües vuelve a estar por debajo en todas las pruebas, antes y
después. En la parte superior de la tabla no hay valores “Dif-en-dif” debido a
los cambios en la estructura de la prueba ya comentados.
Si lo que viene a continuación no es conocido por los
económetras de Fedea, vamos a enseñarles algo (y gratis). Si ya lo conocen,
entonces les hemos pillado. Deberían en este caso haber renunciado a esta parte del estudio, sobre todo en lo
referente a la “Cultura General”.
Los estudios apoyados en estrategias “Dif-en-dif”
permiten efectivamente combinaciones y comparaciones en dos momentos temporales
de medidas relativas entre variables de tipos muy diversos (uff…), siempre que las
comparaciones se refieran a las mismas variables antes y después (sexo, edad,
edades de inicio, ocupación, nivel de renta, incluso procedencia si distinguimos
claramente origen familiar, nacimiento y nacionalidad). Incluso la comparación
entre dos calificaciones de una prueba si podemos defender que la versión de un
año es similar a la del otro. Pero la “Cultura General” de 2010 es una PRUEBA
DIFERENTE a la “Cultura General” 2011 (nosotros también ahorramos espacio, así
que conviene buscar en la web la prueba de “Cultura General” de 2011 para
hacerse una idea de lo que decimos). No son comparables, ni en valor directo ni
estandar. Ni tiene sentido alguno la valoración “Dif-en-dif”. No se puede sacar
ninguna conclusión, incluida la de que no hay diferencias. Lo sentimos. Dicho
en plata: no podemos comparar las castañas de hoy con los higos de ayer.
Tenemos que dedicarnos a otra cosa.
Por el mismo motivo, las notas totales de Lengua tampoco
son comparables: en 2011 han soltado el “lastre” de la “Cultura General” que
bajaba la media los años anteriores. Una cosmética fácil que en cursos
anteriores hubiera “subido” la nota de Lengua entre una y tres décimas.
Antes de seguir nuestro propio consejo, explicamos que la
nota de Matemáticas también fue sometida a cosmética en 2011: se cambió la
ponderación de Ejercicios y Problemas de 50-50 a 60-40. Si modificamos la nota
general de la Comunidad de Madrid de Matemáticas de 2010 a los criterios de
2011, sube unas dos décimas (pasa de 5,78 a 5,97 o como dirían en las notas de
prensa oficiales “del 5,8 al 6”). No nos consta que para la Tabla 12 esto se
haya tenido en cuenta.
En fin, que volvemos a sentirlo para unos y para otros:
las consecuencias del programa de bilingüismo de Madrid no se detectan con
facilidad utilizando las notas de los exámenes CDI de la propia Comunidad, y
con estudios econométricos tipo Fedea, menos.
Ya.
No hay comentarios:
Publicar un comentario