Comprensión

Evaluación

Comprensión oral. PROLEC-R

Cuando hablamos de la comprensión auditiva [en esta entrada] dejé abierta la posibilidad de seguir trabajando sobre esta habilidad, concretamente sobre un recurso de evaluación basado en el subtest del ITPA. Me planteo ahora concretar este proyecto en esta entrada.

Y lo hago por considerar que se trata una habilidad, competencia o dimensión competencial del ámbito del lenguaje a la que no se presta la debida atención, ni en la intervención educativa ni en la evaluación psicopedagógica.

A excepción (y no siempre coherentemente) del área de Lengua Extranjera, y a consecuencia de constituir una de las dimensiones básicas del portfolio europeo de las lenguas, en el resto de las áreas, una vez superada la etapa de E. Infantil, la comprensión oral sufre eso que podemos denominar "ensombrecimiento por obviedad": generalmente se da por supuesto que es una habilidad ya desarrollada o que se trabaja de forma implícita (que para el caso, la consecuencia es la misma) y no es objeto de intervención específica en el proceso de E-A. No lo es explícitamente, porque en la práctica del aula es una habilidad o competencia que se requiere al alumnado de forma continuada.

Esto se hace de forma también implícita cada vez que se espera que el alumnado acceda al contenido que el docente expone verbalmente en el aula, o que se expone en un vídeo que se recomienda como fuente de aprendizaje. Por poner dos

ejemplos.

Al tratarse de una exigencia implícita, de ahí deviene uno de los problemas añadidos: no es una habilidad que generalmente sea objeto de evaluación específica; y no lo es ni curricularmente ni en la Evaluación Psicopedagógica.

En realidad esto tampoco es cierto en sentido estricto, ya que en lo que a la Evaluación Psicopedagógica se refiere también pasa un poco lo mismo que en la intervención educativa: en realidad se está evaluando implícitamente en pruebas que exigen comprender instrucciones verbales, en test específicos de evaluación del lenguaje (especialmente en la evaluación de la comprensión de estructuras gramaticales) y, en cierta medida, también en pruebas que evalúan procesos cognitivos como la memoria verbal (si se usan frases de extensión creciente) o de razonamiento verbal (como los test llamados de Adivinanzas).

Hay algunas excepciones en las que el concepto comprensión auditiva o comprensión verbal está presente (si no claramente, al menos sí de algún modo), pero lo está por la relación de la comprensión verbal con la comprensión lectora (CO vs CL) y como recurso para descartar que las dificultades en esta última no son debidas a posibles dificultades generales, implicando este tipo de razonamiento la relación entre entre la comprensión verbal y las capacidades cognitivas o nivel de inteligencia (CI). 

Algo así se observa en el test PROLEC-R, en dos momentos:

• Subtest Comprensión de oraciones, primeros tres ítems, en los que el examinador emite tres órdenes de acción que el sujeto debe ejecutar...

V.g. "Da tres golpecitos sobre la mesa"

•  Subtest Comprensión oral, complementario del subtest Comprensión de textos, formado por dos textos expositivos, uno corto ("El ratel"), asimilable al texto "Los okapis" (comprensión  lectora), y otro "largo" ("Los vikingos"), comparable con el texto "Los indios apaches" (comprensión lectora).

Si analizamos los estadísticos (media y dt) podremos observar que esos tres primeros ítem de Comprensión de oraciones son irrelevantes para determinar el nivel de rendimiento del sujeto en este subtest, ya desde el curso P1.

El propio test resulta muy fácil en términos de puntuación media respecto al total posible, aunque eso es de esperar en un test de screening: ya desde P1 la puntuación promedio (14,48) representa el 90% del total (16 ítem) y el margen que permite establecer la desviación típica (1,61) como intervalo central (12,87 - 16,09 para P1) queda muy alejado en su extremo inferior (el único que realmente puede aportar información, atendiendo a la naturaleza del test) de esos tres puntos que aportan los ítem de comprensión oral presentes en la prueba.

Con esto quiero decir que no es en este subtest donde podemos encontrar información de interés para evaluar la comprensión oral, verbal o auditiva. Donde sí parece que PROLEC-R puede aportarnos algún dato de utilidad para conocer el nivel de comprensión oral del alumno es en el subtest Comprensión oral, que en PROLEC-R (y en esta entrada) se analiza por comparación con los resultados del subtest Comprensión de textos.

Antes de realizar este análisis es necesario considerar algunas cuestiones, bien por su peso en el análisis del subtest anterior, bien por las propias características del actual:

• La primera tiene que ver con la naturaleza screening del subtest.
• La segunda, relacionada con la anterior, la escasa longitud de la prueba (8 ítem)
• Y la tercera deriva de la diferencia de los dos subtest a comparar: Comprensión oral vs. Comprensión de textos, ya que ambos cuentan con un número diferentes de textos y de ítems, lo que dificulta la comparación de los estadísticos respectivos.

Veamos las implicaciones de cada una de estas cuestiones:

• Por lo que se refiere a la primera, así como sí tenía una clara incidencia en los resultados del subtest Comprensión de oraciones, no parece que la tenga en el subtest Comprensión oral. En éste los resultados de la Md  y de la Dt de todos los cursos, pero especialmente de los cuatro primeros (P1-P4) dejan margen suficiente, tanto por debajo como por encima de la media, en términos de intervalo central y en términos de % de rendimiento de la Md respecto a la puntuación total de la prueba.
• En coherencia con lo anterior, tampoco se puede decir que lo limitado del número de ítem dificulte el estudio de los resultados que pueda obtener un alumno en términos de comprensión oral: 8 ítems son más que suficientes, al menos hasta P4, aunque posiblemente tampoco en P5-P6 se pueda considerar una limitación significativa. Y menos aun si no entramos (y no hay motivo para ello) en territorios poco seguros como la incidencia de la extensión del texto (corto vs. largo) o el tipo de pregunta (literal vs. inferencial) en los posibles resultados, colectivos e individuales.
• La tercera cuestión, aunque relevante para el propio PROLEC-R, puede ser secundaria para nuestro análisis, ya que no tenemos por qué tomar como criterio de análisis la comparación entre el rendimiento CO vs CL, limitándonos únicamente a valorar la CO en relación al rendimiento esperado en función del curso. Pero PROLEC-R ofrece unos estadísticos específicos para facilitar esa comparación CO vs. CL que permiten dicha comparación y, lo que es aun más interesante, aportan información que no me parece que podamos despreciar. Así que dedicaremos un tiempo a este análisis comparativo.

Empezaremos por observar que, sorprendentemente con el papel casi marginal que se le da a la comprensión oral en la etapa de E. Primaria, los resultados del alumnado de los primeros cursos, especialmente de los dos primeros sea tan baja (P1 -> Md 2,98 -> 32,25% ; P2 -> Md 3,64 -> 45,5%), resultados que no alcanzan el nivel de acierto del 50%; hay que esperar hasta P5 para superar el nivel 60%, que tampoco es puede considerarse un nivel satisfactorio de rendimiento en términos de evaluación criterial, y menos aun en una prueba que, como ya se ha dicho, es de tipo screening.

Ese nivel de rendimiento tan mediocre es claramente inferior al que se obtiene en el subtest Comprensión de textos para esos mismos cursos (P1 -> Md 8,61 -> 53,8%; P2 -> Md 11,16 -> 69,75%), niveles (en %) que, como dije antes, no se alcanzan en CO hasta P4. Y eso que estamos hablando de los inicios del proceso lector, donde cabe esperar que la CO sea superior a la CL.

Evidentemente debemos tener en cuenta el tipo de textos (no la longitud, ni el tipo de preguntas que se formulan) que se maneja en ambas pruebas, ya que CO son textos expositivos, mientras que en CL lo son la mitad. Y como disponemos de datos que diferencian CL en Total y CL de textos expositivos (los mismos que nos permiten comparar CO con CL)...

... podemos deducir que el rendimiento en CL en textos expositivos es, para P1 Md 3,91 -> 48,87% y para P2 -> Md 4,41 -> 55,12%, inferior al rendimiento total, lo que quiere decir que ciertamente los textos expositivos presentan mayor nivel de dificultad para los alumnos en todos los cursos, aunque esa diferencia es mucho más reducida en P1, debido a que es el curso en el que se adquiere la habilidad de decodificación lectora.

También podemos calcular los valores Md de los textos narrativos que forman parte de CL-T, recalculando los valores de los sumatorio de PD de CL-T y CL-Exp, conocidos los datos de Md y N de cada curso. A partir de estos cálculos obtenemos unos valores Md de CL-Nar. aprox. que dan como resultado el siguiente gráfico.

En él se puede comparar la evolución de las Md de las diferentes variables consideradas: CL-Total, CL-Narrativos, CL-Expositivos y CO(expositivos). Se aprecia que los resultados en CL en los textos narrativos son sistemáticamente superiores a los que se obtienen en los textos expositivos y que existe una diferencia mínima pero llamativa entre la Md de CL-Exp vs. CO(exp) hasta que se igualan ambas prácticamente a partir de P4. Otros datos de interés:

• La diferencia entre las medias es menor en P1 entre CL-Nar vs CL-Exp, primando en este curso la dificultad de decodificación de los principiantes.
• Pero es superior (en ambas CL) respecto a CO, cuando lo contrario sería lo que cabría esperar. ¿Se trata del efecto "texto expositivo"?, ¿se produciría también de aplicarse textos (orales) narrativos?, ¿por qué los textos CL expositivos resultan también más sencillos de comprender que los textos CO?.
• La evolución de rendimiento medio (Md) en CL-Nar presenta una evolución similar a la que presenta CL-Exp, manteniendo con esta una diferencia constante desde P2 hasta P4, pero se acentúa en P5, observándose una tendencia a reducirse en P6 sin llegar a los niveles precedentes. ¿A qué se puede deber este incremento de la diferencia desde P4?, ¿es consecuencia de la mejora en los resultados en CL-Nar (superior a CL-Exp) en función de la longitud del texto o del tipo de preguntas (literales vs. inferenciales), ¿Cómo se comportan estas variables de los cursos de la ESO?.
• La diferencia CL vs. CO (ambos expositivos) se reduce paulatinamente hasta desaparece prácticamente desde P4. ¿Es posible interpretar esta evolución de la CO como la consecuencia del proceso de escolarización que reduce las diferencias derivadas del contexto sociofamiliar?, ¿incide la mayor exigencia de práctica cultural de lectura en que la evolución de la CL-Exp no mantenga una evolución similar?.

Todas estas cuestiones quedan pendientes de estudio, siendo necesarios otros análisis para dar un principio de respuesta a algunas de ellas. Pero me parece necesario insistir en dos cuestiones:

• Primera: la evaluación de la comprensión oral es necesaria, como lo es la intervención educativa explícita en ella, también en la etapa de E. Primaria.
• Segunda: no disponemos de herramientas que nos permitan realizar esta evaluación en todas sus dimensiones.
  

Y mientras tanto nos queda constatar que los recursos disponibles ofrecen una imagen no demasiado halagüeña del nivel competencial del alumnado: quizás con la excepción de la CL-Nar. donde los porcentajes de acierto medio pueden considerarse satisfactorios ya desde P2 (y eso contando con la incidencia no controlada del efecto extensión del texto y tipología de la pregunta literal vs. inferencial); en el resto (CL-Exp y CO.Exp) no se alcanzan niveles de éxito superiores al 70% en toda la etapa de E. Primaria, lo que arroja niveles de fracaso superiores al 30% (en realidad más cercanos al 35%).

Cierto que aquí estamos realizando un análisis que no se corresponde con la naturales de los test, pero no deja de ser llamativo que, dada la simplicidad de los textos que se manejan y del tipo de preguntas que se plantean, los resultados sean los que son.

Sería conveniente estudiar, en efecto, la incidencia en ellos de la extensión de los textos y del vocabulario que se emplea en ellos, la diferencia de rendimiento en función del tipo de pregunta (literal vs. inferencial) en relación con el nivel aptitudinal general, pero también del tipo de cuestiones que se plantean normalmente en el aula dentro del proceso E-A. Y también cuestiones no atendidas en esta exposición, como es que se demande al alumno una respuesta verbal correctamente construía, y cómo esto puede afectar a los resultados.