La falacia y peligro de las notas del colegio
En la Facultad de Medicina de la Universidad de Chile se estudió la capacidad predictiva de las notas del colegio, del ranking (que aumenta el valor de la nota que está por encima del promedio histórico del colegio) y de la PSU (lenguaje, matemáticas y ciencias), en un curso de biología celular de primer año impartido en 2 de las 8 carreras de la Facultad.
El curso tenía prueba de diagnóstico, mide la preparación de ingreso de los estudiantes, calificaciones durante el curso y evaluaciones finales (nota de presentación y examen), para evaluar el rendimiento según las notas o pruebas al ingreso. Las pruebas están construidas por equipos docentes de amplia experiencia. El número de estudiantes analizados en una muestra extendida de dos carreras fue cercano a 400 (años con y sin ranking), pero un estudio más acucioso fue en 152 de una sola carrera y todos con ranking.
Sin sorpresa, comprobamos que los puntajes en la PSU se correlacionaron positiva y significativamente con el rendimiento en la prueba diagnóstica, la nota de presentación y el examen final.
Con sorpresa aterradora comprobamos que no hubo correlación (cercana a 0,0) entre las notas de colegio, la nota de presentación, la nota de examen y el rendimiento PSU en ciencias, hubo además correlación negativa, no significativa estadísticamente, con la nota de la prueba diagnóstico, pero negativa y significativa con las PSU de lenguaje y matemáticas.
Las correlaciones que no son significativas resultan porque en estadística se compara con la correlación igual a cero. Pero, debe compararse con la correlación esperada de una calificación que indica una buena preparación, y esta correlación debe ser sobre 0,71 (explicación fuera del alcance de este artículo).
Se esperaba que las notas dieran una correlación sobre 0,7 con el puntaje de la prueba diagnóstica, de la nota de presentación y del examen, además, de dar esa correlación con la PSU, ya que ésta dio sólo correlaciones positivas y significativas con todas la pruebas examinadas, indicando sin ninguna duda que la PSU (lenguaje, matemáticas y ciencias) medía bien o indicaba cualitativamente, la preparación inicial y la probabilidad de aprobar el curso.
El análisis mostraba que las notas de colegio, no solo no indicaban adecuada preparación para ingresar al curso o para aprobarlo, sino que mostraba una tendencia a que los que tenían más bajas notas aprobaron mejor todas esas pruebas, tendencia avalada fuertemente por las correlaciones negativas o nulas con las PSU.
Como teníamos el puntaje ranking que amplifica las "buenas" notas del colegio podíamos probar si nuestra interpretación era correcta: el ranking debía aumentar la negatividad de las correlaciones.
El resultado comprobó totalmente nuestra hipótesis; el puntaje ranking se correlacionó negativamente con todos los indicadores y muy significativamente con las PSU. No fue significativo (estadísticamente) con la prueba diagnóstico y finales pero muy significativo comparado con el valor esperado de 0.71.
Nunca se había encontrado (nosotros tampoco) correlaciones negativas. Pero las correlaciones habían sido estudiadas al interior de cursos, colegios o en la muestra nacional. Ellas eran siempre positivas aunque bajas y raras veces alcanzaban a 0,71.
Las notas de colegio siempre daban correlaciones positivas con las PSU ¿dónde y cómo podía producirse esta reducción a cero o a correlaciones negativas entre notas, ranking, PSU y rendimiento académico?
Sólo cabe una explicación y es la heterogeneidad entre colegios de las notas en relación a la preparación del estudiante para rendir la PSU y aprovechar los cursos universitarios (quedó patente por la correlación negativa entre nota y prueba diagnóstica aumentada por el ranking).
Hay colegios de manga ancha y otros de manga angosta que a la misma preparación académica ponen mejores o peores notas, respectivamente. Entonces en una universidad como la nuestra que tiene estudiantes de todos los colegios y en donde se dio en ese año una ponderación mayor a la nota, los con peores notas pero con igual o mejor preparación rendirán más y sobre todo si a igualdad de nota tienen una mejor PSU.
Es sencillo probar esta hipótesis, pero no sabemos cuáles son los colegios de manga ancha y manga angosta. Por nuestra experiencia el Instituto Nacional es riguroso en la nota.
Tenemos todo el rendimiento nacional en el año 2012, examinemos la Región Metropolitana (1.123 liceos o colegios). El puesto que el Instituto ocupó en notas, es el top 92 (6,0, de un máximo de 6,6 de dos liceos privados); en la PSU (promedio) el Instituto es el top 25 (670,6, de máximo 701,0 en un colegio privado). Mientras más se ponderaba la nota más se perjudicaba al Instituto (en 2012).
La heterogeneidad podemos verla por la correlación entre las notas y el promedio PSU en grupos socio culturalmente distintos conocidos.
El mismo año, en esos 1.123 establecimientos, el promedio de notas fue 5,8; 5,4 y 5,33 para los colegios privados (220), subvencionados (683) y municipales (220) respectivamente y 590,8; 470,7 y 428,5 para PSU, en esos mismos establecimientos.
Las correlaciones entre el promedio de notas y PSU fueron 0,701; 0,649 y 0,481 en esos tres tipos de colegio. Estos parámetros tan distintos en PSU y en correlación entre notas y PSU, pero no tanto en notas, indican una gran heterogeneidad en el ajuste de las notas a la preparación académica, medida por la PSU y por nuestros estudios.
La conclusión parece ser lapidaria. No es posible seguir utilizando la nota de colegio y menos el ranking, que agrava la distorsión, para seleccionar postulantes a la universidad.
La nota de colegio acumula todas las desigualdades socioculturales que se dan en Chile, más la heterogeneidad de ajuste al poner la nota en relación a la preparación académica distinta en establecimientos y cursos; sin contar con las infracciones éticas de promociones sin tener los conocimiento para ser promovidos, más el contrato de profesores con la condición de que tengan porcentajes de éxito escolar que permitan competir comercialmente a ese colegio, buenas y malas barras y...mucho más.
Desde Facebook:
Guía de uso: Este es un espacio de libertad y por ello te pedimos aprovecharlo, para que tu opinión forme parte del debate público que día a día se da en la red. Esperamos que tus comentarios se den en un ánimo de sana convivencia y respeto, y nos reservamos el derecho de eliminar el contenido que consideremos no apropiado