Cálculo básico
PCA. Canarias. Baremos
Después de lo prometido, en esta entrada analizaré los datos estadísticos de la prueba. Este análisis es necesario para el posterior desarrollo del soporte, concretamente en el proceso de análisis de resultados y el correspondiente proceso de automatización de la misma.
Empezaré por aclarar las implicaciones de los datos disponibles y de los no disponibles.
Los datos que aporta la documentación (enlaces en la [entrada anterior]) están dentro del enfoque normativo, y se desarrollan fundamentalmente dentro del ámbito del análisis de frecuencias y posiciones (percentiles)...
... aunque también contamos con estadísticos que profundizan en el recorrido, el análisis de la forma de la curva y los valores centrales de la distribución. Partiendo de los valores centiles es posible conocer el intervalo intercuartílico y también se aporta (en el estudio) los datos de las desviaciones típicas (Dt) de cada curso.
Con lo que no contamos es con datos del IDi y tampoco disponemos de análisis desde la evaluación criterial. Ambas ausencias son de lamentar, especialmente por el enfoque teórico en el que se sitúan los autores y la importancia que desde este enfoque tienen esos datos.
Situándonos en el marco de lo que sí tenemos, es fundamental conocer el valor N (número de sujetos) de cada grupo etario, ya que es a esta dimensión, entendida como curso o nivel escolar, a la que remiten los análisis. Pero antes hacer referencia, de nuevo, a una carencia; en este caso a la ausencia de datos para P1, algo que tiene sentido por motivos de referencia normativa, pero no desde el enfoque de evaluación-intervención implícito en este test; no al menos desde la perspectiva de cómo yo lo entiendo.
Prosigamos con el análisis que sí es posible, empezando, como dije, por el valor N de cada curso. Aquí los datos de los baremos recogen las observaciones válidas (pruebas resueltas por los alumnos que se consideran aportan la información que deben aportar y sirven, por tanto, para los objetivos del análisis de los resultados) y las observaciones perdidas (pruebas resueltas por participantes, pero que contienen algún tipo de error que las invalidad en términos de ese mismo análisis).
El peso de uno y otro tipo de datos es similar en todos los cursos (aprox 91% para válidos, 9% para perdidos) y nada se dice en los análisis de las causas que llevan a calificar ese aproximadamente 10% como perdidos, así que tomaremos como valor N los resultados considerados válidos, que son los que se recogen en este gráfico:
Podemos apreciar, en el gráfico de forma acentuada, que existen diferencias entre los cursos en cuanto al número de alumnos, siendo inferior en P3 y P5, frente a los que aportan los cursos P2, P4 y P6. Tampoco disponemos de análisis de estos factores, casusa y posible incidencia (o no) en los resultados, por lo que debemos suponer que carecen de relevancia, lo que es importante en la segunda cuestión.
Analizamos ahora el recorrido o intervalo de puntuaciones desde la mínima hasta la máxima en cada uno de los cursos, insistiendo que con esto no tenemos ninguna referencia del funcionamiento de cada ítem, únicamente a datos de número de aciertos: el (alumno) que menos operaciones resuelve correctamente (Min), el que más acierta (Max) y el intervalo (Max-Min) o recorrido que queda incluido dentro de estos límite. Y esto es lo que muestra el gráfico siguiente:
Este gráfico nos muestra cual es el límite inferior de cada curso y cómo se va incrementando, salvo en P6, donde el mínimo (sujeto que menos item acierta) retrocede a niveles de P4. También vemos que en P2 el mínimo coincide con el valor absoluto 0, por lo que en este caso sí podemos decir que en P2 al menos un alumno (¿cuántos fueron en realidad?) no resolvió correctamente ningún ítem. En el resto existe un intervalo de posibles resultados (nº de aciertos) entre ese mínimo y el absoluto. Cualquier resultado individual que se sitúe en él podrá ser considerado alarmantemente bajo. Por eso es anómalo lo que se observa en P6.
Pero además de esa anomalía, lo que más se echa en falta es la ausencia de referencias a IDi por lo que podría aportar para un mejor conocimiento de las posibles causas de las dificultades de los alumnos: ¿qué tipo de ítem son los que presentan mayor dificultad en determinado nivel curricular?
También nos sirve para acotar el análisis de la distribución los valores máximos. En esta prueba observamos que son acordes a lo esperado en su incremento a lo largo de los cursos, incluso (ahora sí) en P6, aunque con un matiz: es el curso en el que menos se incrementa Max respecto al curso precedente (P5).
Así que gracias al Max sabemos que los niños son cada vez más competentes resolviendo operaciones, ya que el (o los) que más puntuación obtiene la obtiene cada vez mayor (conforme se sitúa en un curso superior. Por ejemplo, en P2 ese alumno (o esos alumnos) llega hasta los 24 puntos y si avanzamos dos cursos (P4) es alumno (o alumnos) que alcanza(n) la mayor puntuación, obtiene 30 ptos, 6 más que en P2. Pero, ¿cuáles son los ítem que han facilitado ese incremento?, ¿cuáles son las nuevas habilidades de cálculo que han adquirido los alumnos de P4 y que aun no dominaban los de P2?. Los datos con los que contamos no nos aportan información que nos ayude a responder a esa pregunta. Y no es una cuestión que carezca de importancia.
Si nos fijamos en los estadísticos de posición central (moda, mediana y promedio) observamos cierta proximidad entre los tres, aunque no es así en algunos cursos, concretamente no en P3 ni en P6 (sobre todo en P6), ya que en ellos la moda se sitúa en una frecuencia de aciertos superior al valor que divide la muestra en dos partes iguales o al que resulta de dividir el conjunto de puntuaciones obtenidas entre el conjunto de sujetos (válidos). No obstante también predomina (cuando no se observa cuasi-coincidencia de valores) la siguiente sucesión promedio < mediana < moda, que, como sabemos, es típica de distribuciones sesgadas a la derecha. Esto indica que estas distribuciones (por curso y se puede decir que en todos los cursos, aunque en algunos con matices (P2 y P5), la distribución indica que el prueba resultó (hasta donde alcanzó en conocimiento del alumnado) relativamente fácil: tanto la moda como la mediana, cada una en función de su naturaleza, nos informa que son los altos resultados los que predominan al menos en términos absolutos (moda), y en la proporción de sujetos (ordenados de menor a mayor resultado en PD) que son necesarios para dividir al grupo en dos partes iguales.
El hecho de que el estadístico promedio se sitúe siempre como elemento menor de los tres incide aun más en lo mismo; también lo hace el estadístico asimetría, que resulta sistemáticamente negativo en todos los cursos, pero especialmente en los dos primeros (P2 y P3), luego se torna más moderadamente negativa (en P4 y P5) para volver a incrementarse (sin llegar a los niveles iniciales) en P6.
En unos cursos en mayor en otros en menor medida, lo cierto es que en todos la distribución de las puntuaciones es la que refleja esta gráfica. En ella se aprecia que la posición del promedio respecto a la de la moda está ligeramente unas veces, más acentuada en otras, desplazada hacia la izquierda, tanto como indica la gráfica de barras horizontales de la derecha del gráfico, aunque no guardan relación con el tamaño del gráfico (curva de distribución de frecuencias).
Lo que indica esta gráfica (que requiere de la imaginación del lector para ser correctamente comprendida) es que se aprecia una tendencia (se supone que moderada) a las altas puntuaciones, incrementándose la cola izquierda (donde se ubican los sujetos con puntuaciones más bajas), más cuanto mayor es el valor de la asimetría (la diferencia entre la posición de promedio y moda).
También hablan de esto mismo los valores de la curtosis, aunque con matices de interés.
En todos los cursos, la tendencia es a la distribución mesocúrtica, especialmente en P4 y P5, aunque para P2, P3 y P6 se incrementa el apuntamiento (sin llegar a la leptocurtosis) y también el peso de la cola izquierda (en esta caso, dados los valores de asimetría); esto es, del número de sujetos con puntuaciones bajas en la distribución.
Esto equivale a decir que en los cursos P4 y P5 la distribución está moderadamente sesgada hacia los buenos resultados (dentro de los límites de ambos cursos, esto es, de sus máximas: 30 (P4) y 33 (P5)) y presentan una distribución más homogénea, más concentrada en los valores próximos a los valores medios. En el caso de los cursos P2 y P3, pero también P6, se acentúa la tendencia a resultados elevados, pero también se incrementa en la distribución el peso de aquellos que obtienen malos resultados (inferiores a los que son de nivel medio para la distribución. Esto equivale a decir que en esos cursos se acentúan los contrastes: hay algunos con buenos resultados, pero también un grupo significativo de alumnos con malos resultados.
Estas observaciones se ven confirmadas en cuanto desviación típica para P2 y para P6, pero no para P3; tampoco para el estadístico intervalo intercuartílico (quizá en este con matices para P6).
Resumiendo, y para finalizar, en los datos que aporta la documentación de PCA se echa en falta la ausencia de información sobre el IDi, ya que facilitaría en gran medida la comprensión del significado de las puntuaciones de los grupos y más aun de los individuales. Aun así contamos con información suficiente para apreciar el proceso de mejora competencial del alumnado a lo largo de los cursos, el predominio del alumnado con buenos resultados (siempre relativos a su puntuación máxima) en todos los cursos, aunque también se aprecia que en P2 y en P6 (y en menor medida también en P3) existe un número (relativamente) importante de alumnos que presentan niveles inferiores de rendimiento en relación con el que presentan sus iguales.
Considero que el análisis debe hacerse, como se propone en la prueba, en términos de valores de posición (percentiles), siendo de utilidad, y como referente para valorar los resultados individuales, el intervalo intercuartílico, más que la puntuación tipificada (valores z derivados de la relación entre Promedio y Dt).
Con todo, parece necesario plantearse la elaboración de un referente local mediante la aplicación colectiva de la prueba. De estos datos se podrán obtener comparaciones en términos de estadísticos de posición central y de dispersión para comparar con los de los baremos de la prueba, pero, sobre todo y más importante aun, datos de IDi y referencias para la evaluación criterial. Sólo a partir de estos será posible utilizar los resultados PCA para identificar fortalezas y debilidades y organizar la respuesta educativa que resulte pertinente a nivel grupal y a nivel individual.
