Comprensión

Evaluación

Comprensión auditiva. ITPA (III). Docap

Después de haber tratado sobre el subtest ITPA-CA en la [entrada anterior] me ha parecido necesario aportar un docap como recurso para facilitar la evaluación de esta variable. Por motivos obvios, aunque ITPA no sea un recurso que se pueda considerar de uso frecuente hoy en día, he preferido emplear materiales descatalogados pertenecientes a una versión que ya no se comercializar.

El docap que propongo aquí no cierra el conjunto de herramientas que se pueden precisar para automatizar el trabajo con esta prueba en concreto, y mucho menos con otros posibles usos de ITPA. Como docap se basa en el modelo del ítem gráfico que llamé "panel de imágenes", por lo que remito al lector [a la entrada] en la que se explica con detalle este tipo de ítem.

Cierto que este docap resulta de extender el uso de dicho modelo de ítem hasta cubrir el conjunto de la prueba, pero se requieren otros contenidos para que facilite realmente la automatización de su uso, así que en esta entrada explicaré el conjunto de los procedimientos que se han empleado para crear el docap.

Desde el punto de vista técnico podemos identificar cuatro partes:

• Los gestores de movimiento por los componentes del soporte
• Los procedimientos de aplicación de la prueba (que remite al modelo de panel)
• La puntuación de los resultados
• Y la elaboración del informe individualizado.

Se trata, de nuevo, de un docap basado en LO-Calc y en OOo Basic, por lo que mucho de lo que en él se desarrolla ha sido ya tratado en entradas anteriores, especialmente en la sección [Herramientas], pero no sólo.

El enfoque de este docap es facilitar un instrumento para que use directamente el alumno en evaluación individualizada, contando con la ayuda y orientación del evaluador, cuando sea necesario. Esto supone plantear un enfoque de intervención que exige haber resuelto previamente dos cuestiones...

• Disponer del material original del ITPA-CA 
• Y haber determinado el procedimiento de evaluación a aplicar

... ya que este procedimiento implica evaluación individualizada, con todo lo que ésta supone.

Sobre la primera cuestión aclarar que no es este un docap para aplicar el ITPA según sus especificaciones, ya que, además de no ser este el enfoque de la propuesta...

• No se no proporciona material sustitutorio del original de la prueba por lo que es necesario disponer de él.
• Concretamente no se aborda como resolver los procesos iniciales de identificación de las imágenes-respuesta ni de los ejemplos, cuestión que deberá ser resuelta por el SEO como considere más pertinente (que se supone será como establece el propio ITPA).
• Lo mismo se puede decir sobre el uso y la interpretación de los resultados: la puntuación típica derivada no agota la disponible en la prueba, ni ésta es suficiente para el análisis que se propone en este docap.
• El informe individualizado que aquí se desarrolla es un modelo dentro de otros muchos posibles. Concretamente el que se ofrece en este momento no es el definitivo. En entradas posteriores se irá ampliando al ir desarrollando otros análisis.

Sobre la segunda cuestión, y como punto de partida, repetir lo dicho antes: se trata de un docap para ser usado por el alumno, por lo que exige disponer de medios informáticos para ello. Pero lo más importante es que es un recurso para la evaluación individualizada, por lo que el SEO ha de haber considerado previamente si ésta es pertinente y si el objetivo a lograr con la aplicación de la prueba justifica el desarrollo de un procedimiento que altera la normalidad del discurrir de la actividad del alumno, incluyendo los efectos que tiene en términos de barreras a la presencia, la participación y el aprendizaje.

Aclaradas y espero que resueltas estas cuestiones previas, pasamos a explicar el funcionamiento del docap, que no es muy diferente al funcionamiento del docap-modelo explicado en [esta entrada], aunque por motivos que se irán exponiendo en entradas posteriores, no llega a estar tan "finalizado" como aquel.

• Se accede al docap en formato plantilla-Calc, a fin de evitar la pérdida accidental del recurso y porque la presentación con la que se inicia forma parte del mecanismo de funcionamiento del soporte: únicamente se muestra la hoja de inicio (inic), obligando así al usuario (que se supone que es el propio alumno (aunque con ayuda del evaluador en los cursos iniciales o si se éste lo considera necesario)

• En esta hoja se procede a introducir los datos de identificación del alumno mediante el formulario que se muestra en la imagen. Estos datos se trasladan por asociación control-celda a las celdas correspondiente de una hoja (Resultados) que permanece oculta.
• Es muy importante que todos los datos se introduzcan correctamente, ya que de ello depende también el buen funcionamiento del docap; pero lo es especialmente que la edad (control años) que se seleccione sea la que tiene el niño en el momento de aplicar el test.
• Una vez cumplimentados los datos solicitados en el formulario (en este caso se espera que el evaluador colabore con el alumno, incluso de edades superiores) y comprobado que todo está correcto, se hace clic en el botón COMENZAR.
• Este comando está asociado al script Lam1_m del módulo Mov ...

Sub Lamina1_m

verHoja(1)

End Sub

... que, como podemos comprobar, llama a la subrutina verHoja(), pasando como argumento el identificador de hoja 1 (verHoja(1))

• Esta subrutina da funcionalidad a este script y al resto de los de su módulo, todo ellos asociados a los botones (cmd) insertos en el resto de las hojas que componen el docap y que tienen como función facilitar el desplazamiento controlado entre las hojas. Su funcionamiento es muy simple y tiene como objetivo ocultar todas las hojas menos la que deseamos que quede visible y activa.

Sub verHoja (HojaVer As Integer)

Dim i As Integer

'Primero las mostramos todas

For i = 0 To 4

oHoja = ThisComponent.getSheets().getByIndex(i)

oHoja.isVisible = True

Next

'Después las ocultamos todas menos la seleccionada desde el script

For i = 0 To 4

oHoja = ThisComponent.getSheets().getByIndex(i)

If i <> HojaVer Then

oHoja.isVisible = False

End If

Next

End Sub

• Para ello empleamos el atributo asociado al objeto hoja (oHoja.isVisible) con el valor booleano que corresponda: True para visualizar la hoja (oHoja.isVisible = True) y False para ocultarla (oHoja.isVisible = False), ambos formado parte de una estructura bucle (For i = 0 To 4), que en la segunda ocasión se complementa con un condicional que permite identificar las hojas diferentes a la pasada como parámetro (If i <> HojaVer Then), lo que equivale a identificar la que deseamos mantener visible.
• Una vez que hacemos clic en COMENZAR accedemos a la hoja Lamina1 en la que se pone en funcionamiento el procedimiento que en otra entrada llamé [Panel de imágenes], entrada a la que te remito para no volver a explicar lo que ya quedó expuesto en ella. de paso reduzco considerablemente la extensión de esta entrada.
• Finalizada la aplicación de la serie de ítem (para lo que necesitas los materiales del ITPA), pero no antes (que así sea se considera responsabilidad del evaluador), el propio alumno hace clic en SEGUIR, comando con la misma función (y funcionalidad) que el anterior, lo que da paso a Lamina2 y, de igual modo, después a Lamina3. Las tres hojas tienen el mismo funcionamiento y con ellas se diferencian las tres secuencias de ítem de la prueba ITPA-CA (1), asociadas a los tres textos de referencia.
• Una vez que se ha aplicado (en su caso) la tercera serie de preguntas (texto 3), desde el comando VER RESULTADOS de Lamina3 se accede a la hoja Resultados en la que está recogidos (mediante asociaciones de celdas, vg. =$Lamina1.N4) todos los datos de interés, incluyendo los de identificación (estos mediante la asociación de los controles del formulario a las celdas).
• Resultados cuenta con un comando (Puntuación típica), del que mostramos parte en esta imagen...

...asociado al script Puntuar...

 Sub Puntuar

Dim oHoja As Object, oCelda As Object

Dim sEdad As String, sPD As String

Dim i As Integer, iEdad As Integer, iPD As Integer

Dim an(8) As Integer

Dim md(8) As Single, dt(8) As Single

Dim pZ As Single, pS As Single

'Acceso a la hoja de Resultados

oHoja = ThisComponent.getSheets().getByName("Resultados")

'Acceso a la edad del alumno

oCelda = oHoja.getCellRangeByName("F3")

sEdad = oCelda.getString()

iEdad = int(sEdad)

'Acceso al valor PD total

oCelda = oHoja.getCellRangeByName("D56")

sPD = oCelda.getString()

iPD = int(sPD)

'Valores de los estadísticos

an() = Array(3,4,5,6,7,8,9,10)

md() = Array(7.98,17.62,23.82,34.66,36.86,38.58,39.84,42.39)

dt() = Array(5.05,11.19,12.95,9.13,8.33,7.86,7.99,6.89)

'Cálculo de Puntuación Z

For i = 0 To 7

If an(i) = iEdad Then

pZ = (iPD - md(i))/dt(i)

End If

Next

'Calculo de puntuación S

pS = pZ * 20 + 50

'Escritura de valores Z en Resultados

oCelda = oHoja.getCellRangeByName("F7")

oCelda.setValue(pZ)

'Escritura de valores S en Resultados

oCelda = oHoja.getCellRangeByName("F8")

oCelda.setValue(pS)

End Sub

... cuyo funcionamiento queda aclarado mediante los comentarios insertados en el mismo script, los cuales también sirven para delimitar las diferentes partes que componen el propio script. El resultado es un script largo y de cierta complejidad, que bien podría dividirse en funciones o subrutinas, pero que en estos momentos he preferido mantener como una unidad, también para simplificar su comprensión.

• El resultado que se obtiene con este script se limita a los valores puntuación Z y puntuación S, estadísticos que sirven para categorizar el rendimiento del niño (en función de su grupo normativo, obviamente) en los términos que se prefiera (opto por los más simples: por debajo de la media (normativa), dentro del grupo medio-bajo, dentro del grupo medio-alto o por encima de la media (normativa). En realidad, sin otros desarrollos de lo que aporta ITPA-CA, poco más podemos decir (2), motivo por el cual he preferido no desarrollar de momento el cuerpo de lo que sería un informe individualizado hasta no haber tratado cuestiones relativas al significado de estas puntuaciones normativas y todo lo que implica el análisis de los resultados en función de los ítem individuales. 

Esto último implica, dicho de otra forma, que lo que te presento hasta este momento es un docap no finalizado, aunque está suficientemente desarrollado para que pueda servirte como base para desarrollar el tuyo que concluya a tu gusto y manera el presente (3). De momento queda de tu mano finalizarlo con la ayuda de lo explicado [aquí], si así lo consideras.

Documento. Descarga desde [este enlace] el docap. Recuerda que se trata de una hoja Calc en formato .ots (plantilla), por lo que tiene un comportamiento específico de ese formato.

NOTAS 

(1) Sin duda se puede apreciar que en este docap se plantea una aplicación de todos los ítem de que consta ITPA-CA, sin atender a los criterios establecidos en la prueba respecto a su  inicio y finalización, y sin hacer uso del criterio de regreso al ítem 1 para alumnos de 6 o más años que fracasan en los ítem 18-19-20. Esta cuestión será tratada en una próxima entrada. En todo caso, si el interés del usuario es aplicar el test según los criterios de la prueba, deberá realizar algunas modificaciones, como, por ejemplo, incluir un comando de regreso desde Lamina2 a Lamina1 (sirva de referencia el script Lamina1_m. También precisará un instrumento para registrar los resultados del niño y detener la prueba cuando se cumpla el criterio 3 errores consecutivos. El propio cuaderno de anotación del ITPA-CA puede servir para ello.
(2) Realmente no es tan poco, aunque sí muy conciso. Y tampoco es esta una limitación que se pueda atribuir en exclusiva a ITPA, así que no se entienda como una crítica al test; que en todo caso habría que hacer extensiva a otros muchos.
(3) Recordar además que el material empleado no se corresponde con las versiones actuales del test. Lo cual no afecta al funcionamiento del docap, pero sí puede ser una limitación en cuanto a la presentación del material. Te corresponde a tí subsanar este inconveniente si estás en condiciones de hacerlo y siempre con las reservas de uso que corresponden.

Comprensión

Evaluación

Comprensión auditiva. ITPA (II)

La comprensión auditiva, decíamos [en una entrada anterior], no es práctica habitual en la intervención educativa en la etapa de E. Primaria, ni se prodiga que digamos en las pruebas de evaluación psicopedagógica. Y cuando lo es, como en el caso de PROLEC-R, aunque aporta información de mucho interés, no cubre todos los ámbitos que debería; especialmente no permite conocer el nivel de comprensión auditiva de aquellos contenidos textuales que, por su naturaleza, más próximos están a las vivencias de los niños, esto es, los denominados textos narrativos.

Existe, por suerte, una prueba, en su momento muy celebrada y ahora en el cuarto de los trastos viejos, el ITPA, que cuenta con un subtest orientado específicamente a la evaluación de la comprensión auditiva (ese es su nombre, CA) y que se acerca a la tipología de input que nos interesa evaluar.

ITPA sigue estando comercializado por TEA Ediciones. Concretamente me consta una edición de 2009, la 7ª, pero no sé si existen otras más actualizadas, por lo que lo que sigue puede no ser exacto a día de hoy: estas últimas (que no recientes) ediciones modernizan la presentación de los materiales y en la revisión de 2004 se actualiza y amplia la muestra y se realizan análisis estadísticos específicos (léase el Manual).

No es objetivo de esta entrada el análisis del ITPA propiamente dicho, ya que únicamente nos interesa el test Compresión Auditiva (CA), y este al margen del planteamiento teórico que sustenta la prueba, como recurso para la evaluación de esta habilidad específica y en el formato en que se plantea en el ITPA, por considerarla de interés y complementaria al modo en que se evalúa la CA en otras pruebas. 

El subtest ITPA.CA parte de tres breves textos narrativos muy sencillos, sobre los cuales se formulan un número determinado de preguntas (50 en total), que se distribuyen como sigue:

• Fragmento 1. Preguntas 1 a 17. Está precedido de dos ítem de demostración. Se aplica a niños menores de 6 años, pero no a los de 6 o más años, salvo la excepción que se comenta a continuación.
• Fragmento 2. Preguntas  18 a 34. Está precedido de dos ítem de demostración. Se aplica a niños de 6 o más años. Dado que no se les han aplicado las preguntas 1 a 17, si fallan en los elementos iniciales consecutivos (18, 19 y 20) se aplican esos primeros ítem; en caso contrario se les atribuyen esos 17 puntos.
• Fragmento 3. Preguntas 35 a 50.
• Todos los ítem se puntúan 0-1.
• Se detiene la aplicación del test tras tres fallos consecutivos, con la excepción explicada en los ítem 18 a 20 para niños de 6 o más años. 

Cada uno de los fragmentos hace referencia a un texto narrativo sencillo. Veamos el primero a modo de ejemplo:

Al contrario que sucede en PROLEC-R.CO, el niño no debe dar una respuesta verbal; sino que selecciona la imagen que se asocia a la pregunta entre las 6 posibles...

....habiendo recibido previamente instrucción concreta sobre el contenido general de cada una de esas imágenes. 

Una vez realizada esta exposición, se procede a aplicar del test, empezando por el fragmento que corresponde por edad y por los dos ítem de ejemplo (sólo los dos que corresponden por edad).

Este modo de respuesta (por identificación de imagen) se asemeja al que se usa en pruebas de conocimiento léxico (PEABODY) y de estructuras gramaticales (CEG). Al no exigir una respuesta verbal se evita que dificultades en el lenguaje expresivo influyan negativamente en los resultados. Esta precaución no se da en PROLEC-R.CO, prueba en la que, además, también incide que los textos sean expositivos, lo que aumenta la dificultad de la prueba, especialmente para niños en los inicios de la etapa de E. Primaria.

Con esto quiero decir que ITPA-CA está diseñado de forma diferente y presumiblemente más sencilla que PROLEC-R.CO. Estas diferencias (junto con otras cuestiones técnicas) impiden la comparación directa de los resultados, y, en principio, condicionaría que ITPA-CA resultara (teóricamente) más fácil. Veamos qué sucede a nivel empírico y tomando como referencia los estadísticos de de ambas pruebas.

Para concretar, esta comparación se basará en los resultados inferidos en CT-Nar según el procedimiento explicado [en su momento], y el ajuste de las Md de ITPA-CA a su equivalencia en número de ítem. Dado que ambos cálculos son indirectos, sólo pueden tener un valor orientativo, pero me ha parecido de interés comprobar a dónde nos podrían llevar.

• Como es de esperar en buena lógica, en P1 el rendimiento en CO (ITPA) es superior al rendimiento en CL. Recuérdese que, en contra lo esperado, esto no se observaba en PROLEC-R, CO vs CT (ambos textos expositivos). En ese caso es precisamente en P1 donde mayor es la diferencia entre CO vs. CT. Mientras, en Narrativos, la diferencia es marcadamente positiva para CO, invirtiéndose radicalmente la tendencia en P2. En buena lógica, es de suponer que esto está relacionado con el hecho de que en P2 el alumnado ya presenta un nivel suficientemente satisfactorio de domino en la decodificación lectora, por lo que este factor ya no determina que el rendimiento en CT sea inferior a CO. No que no queda explicado es precisamente por qué se invierte tan claramente la relación entre ambos procesos, quedando como posible respuesta el hecho de que la CT (CL) se trabaja sistemáticamente y de forma continuada, mientras que la CO no.
• ITPA presenta un perfil de mejora progresiva, algo que no se observa en PROLEC-R.CTnar, test en el que se diferencian tres fases, como se ve en el gráfico y se comentó en su momento. 
• Este comportamiento de CA en ITPA es similar al observado en PROLEC-R.CO respecto a PROLEC-R.CT, aunque en ese caso la diferencia entre CO vs. CL era menor. Tal vez esto sea debido a que la variable tipo-de-texto (expositivo), que presenta mayor nivel de dificultad, reduzca la diferencia entre CO vs CL. Pero lo que resulta contra-intuitivo es que la diferencia sea, en ambos caso, favorable a la comprensión lectora (CT) y que se acentúe en función de la menor incidencia de factores que, en principio, deben considerarse que acentúan la dificultad de la tarea (en este caso el tipo de texto). 
• También en Narrativos se comprueba que esa diferencia favorable a CT se mantiene a lo largo de E. Primaria, incluyendo lo que ahora más que comprobarse se intuye: que la diferencia se reduce en los cursos finales de etapa (P5 y P6), tendiendo (eso parece) a un nivel de rendimiento similar entre CO y CL. Esto parece deberse tanto al paulatino incremento de la CO como al leve descenso del rendimiento en CT.

De nuevo se evidencia la necesidad de evaluar la CO/A y, lo que es más importante, de intervenir educativamente para garantizar que su desarrollo no sea mera consecuencia indirecta de la escolarización.