Recursos. Evaluación.

Escala McCarthy (MSCA)

En 2010 elaboré este soporte basado en LO.Calc sobre la escala MSCA. El objetivo de este instrumento era la recopilación de los datos obtenidos en la aplicación de esta escala de uso frecuente en la evaluación del desarrollo psicomotor de los niños de E. Infantil.

Este recurso fue creado originalmente sobre MSO.Excel en el tercer trimestre del curso 2009/2010 y muy posteriormente transformado al formato LO.Calc. Presenta cierta complejidad debido a la complejidad de la prueba, aunque el uso de las funcionalidad Excel/Calc es muy básico: únicamente se hace uso de las posibilidades del soporte presenta para crear y organizar tablas, interrelacionar celdas, automatizar la realización de cálculos y crear gráficos de forma automática.

Comparándolo con el formato Word, el empleo de una Hc supone un avance en funcionalidad, pero se infrautilizan las posibilidades que ofrece este soporte y no aporta nada relevante al formato papel, salvo lo básico (favorecer la digitalización de los expedientes) y obliga a duplicar la escritura de los datos y resultados, ya que este soporte no está pensado para ser utilizado en el momento de la aplicación de la escala.

Documento

• Escala MSCA.

Evaluación. Fonología

PLON-R. Fonología

Ampliando el contenido de la sección Evaluación y aprovechando para profundizar en el análisis del uso de las Hojas de cálculo como soportes para la evaluación, dedico esta entrada a analizar en profundidad un recurso desarrollado inicialmente en 2016, así como el proceso que devino en su concreción como tal recurso. 

PLON-R

La Prueba de Lenguaje Oral de Navarra-Revisada (PLON-R) es un recurso diseñado por Aguinaga, Armentia, Fraile, Olangua y Uriz con el objetivo de facilitar la evaluación del desarrollo del lenguaje oral en edades tempranas (de 3 a 6 años), concretamente para la detección de dificultades del desarrollo del lenguaje. 

Actualmente comercializa PLON-R la Editoral TEA con un coste de 206,32 € (IVA incluido) y actualmente incorpora, como novedad, un manual on-line (con un coste específico de 36,32 € (IVA incluido), aunque el sistema de aplicación sigue siendo en papel y la corrección manual.

Y digo actualmente porque PLON, que tuvo una primera versión así, sin R, es ya un test vetusto, incluso incorporando la R al nombre (1), pero la actual, por lo que sé, no difiere sustancialmente de la que se maneja aquí.

Por lo que se refiere a las creaciones de soportes documentales, en los materiales consultados constan soportes en versión doc, pdf, File Maker y Excel del sistema de registro, todos ellos creados en fechas próximas a 2016, aunque es posible que algunos de ellos sean anteriores. Los primeros dos formatos están pensados para ser utilizados en papel como modo de ahorro de recursos, pero los otros dos tienen objetivos más ambiciosos: facilitar el registro electrónico en primer lugar, pero también permitir el uso directo alternativo al papel y, en cierta medida también automatizar la corrección del test.

Al ser PLON un test complejo, se desarrollaron tres versiones (2) del sistema de registro: prueba completa, versiones por niveles de edad y versione por dimensión o nivel lingüístico. En esta entrada me voy a detener en el análisis del soporte Fonología.

Y quiero hacerlo en comparación con otra prueba de similar enfoque y metodología, el Registro Fonológico Inducido de Monfort y Juárez. No para hacer comparación entre ambos en cuanto pruebas (aunque algo al respeto diré), sino, sobre todo, para comparar el diseño de los soportes documentales de ambos.

Aunque bien pensado, me temo que la comparación no va a dar para mucho, pero puede ser suficiente para entender la evolución de estos soportes ahora sí con cierta perspectiva temporal, ya que las versiones básicas (doc y pdf) de PLON-R no difiere en nada de la versión (en este caso única) del soporte RFI, lo que nos permite situar a las primeras en una ubicación temporal ajustad en términos de funcionalidad: 2007 (3).

Lo que caracteriza a estas primeras versiones de adaptación y soportes es que su finalidad principal era la de ahorrar materiales que tenían un coste económico y no estaban tan inmediatamente disponibles como lo pueden estar ahora; si acaso podían tener el beneficio complementario de servir como recurso para digitalizar el expediente del alumnado, pero no parece que este haya sido una utilidad realmente aplicable, ya que no constan en los expedientes recursos de este tipo (4).

Por ello se puede concluir que en estas fases iniciales, no parece haber habido mucha conciencia de utilizar soportes digitales en el proceso de evaluación, aunque es posible que sí cierto interés por formas básicas de digitalización, entendidas en su formulación más simple: ahorro de documentos en papel e incremento de la portabilidad.

Es por ello que es siguiente paso lógico pudiera haber sido precisamente hacer efectiva esa digitalización, aun en contradicción con la reducción de la carga de trabajo, aunque es posible que ese fuera precisamente un motivo nada desdeñable para que no se generalizara esta "estrategia" (5).

Sólo cuando a la informatización se añade la lógica de la sustitución del papel durante la aplicación de la prueba es posible hablar de verdadero ahorro de trabajo, y eso sólo es posible cuando se crean soportes Hc o BD suficientemente funcionales y accesibles (6), proceso en el que realmente aun estamos inmersos, aunque pasos sí que se han dado al respecto... y significativos.

Cierto; significativos y no necesariamente basados en la creación de macros-script (7), pudiendo constatarse unas características y líneas de  evolución en parte ya indicadas en entradas anteriores, pero que expondré ahora con mayor detalle.

Empezando por el formulario de entrada de datos de identificación, lo que pudimos ver en el soporte PSL_2013, no dista nada de lo que podemos mostrar en PLONrFono_2016: un 'formulario' diseñado directamente sobre las celdas, si acaso enmarcado o coloreado, pero simple y llanamente 'dibujado' a modo de trampantojo para ser cumplimentado del mismo modo que la versión precedente en formato doc o en papel. De hecho una mera copia del original en papel.

A pesar de su simplicidad, o precisamente por ella, la funcionalidad en términos de uso directo durante la evaluación no se ve comprometida por tener que usar las celdas en lugar de controles de formulario (cosa que sí se da en la versión BD), pero tampoco se puede decir que esta fórmula permita avanzar en la automatización del procedimiento de trabajo, lo que constituiría el tercer objetivo y siguiente nivel de desarrollo en la implementación de estos soportes.

De hecho, lo único automatizado que hay en este 'formulario' el el cálculo de la edad del alumno, la cual se base en una serie de fórmulas y cálculos simples, que muestro parcialmente en la imagen que sigue y describo a continuación:

• Asociadas a las celdas D6 y D7 (año de nacimiento y fecha actual, respectivamente), las fórmulas gemelas  =(AÑO(D6)*365)+(MES(D6)*30)+DIA(D6) y =(AÑO(D5)*365)+(MES(D5)*30)+DIA(D5) permiten calcular el número de días que representan dichas fechas
• Estos valores se ubican en las celdas I5 e I6. La diferencia entre ambas (I7) permite obtener la diferencia en días...
• Los cuales se convierten en años al ser divididos entre 365 (=COCIENTE(I7;365)), con lo que en J7 obtenemos el dato años.
• en I8, también mediante cálculos obtenemos el número de días que restan de la división anterior (=I7-(J7*365))
• Y de nuevo una división (esta vez entre 31) nos convierte esos días en meses (=COCIENTE(I8;31)), dato que ubicamos en J8
• Finalmente, mediante la función CONCATENAR(), construimos un texto que nos da en D7 la edad del sujeto en años y meses (=CONCATENAR(J7;":";J8))

Finalizada la primera fase, toca ahora desplazarse a la hoja Fonologia para aplicar el 'cuestionario' (8), para ello nos situamos en la celda E4 y escribimos 1 (acierto) o 0 (fallo) y nos desplazamos a la celda inferior mediante intro. Todo el proceso de corrección y puntuación que sigue se ejecuta de forma automática mediante  funciones propias, como...

• La columna F (a partir de F4) que se cubre automáticamente mediante =SI(E4=1;D4;"Error"), pero que admite ser cumplimentada manualmente si la respuesta del alumno difiere en cuanto a error del que se presupone en el modelo o parece necesario recoger expresamente la producción del sujeto (9)
• El cómputo de las celdas de la columna G en la que se contabilizan los aciertos por años de edad cronológico-evolutiva (vg, G24 para 3 años, =SUMA(E4:E24)) 
• Los sumatorios de fonemas de la columna M (vg, M4, =E4+E5) y su calificación para análisis cualitativo en la columna N(vg N4, =SI(M5=2;"Adquirido";SI(M5=1;"En proceso";"No adquirido")))

Una vez que la prueba ha sido aplicada, regresamos a la hoja Portada para comprobar el resultado global y por edades. Éste se encuentra también automatizado y se ubica en el conjunto C12-G12, en cuyas celdas se valora con 1 (nivel alcanzado) o 0 (nivel deficitario o no alcanzado) mediante asociación con las celdas correspondientes de la hoja Fonologia (columna G) haciendo uso de la función SI(), como muestro para tres años (=SI($Fonologia.G24=21;1;0)).

Lo que no está automatizado en este soporte (que no docap, ya que no se hace uso de macros ni script) es la generación de un informe descriptivo y/o analítico. Además, también queda para la ejecución 'manual' cumplimentar los espacios B18:G20, B23:G26 y B29:G32 que se reservan para realizar anotaciones respecto a articulación espontánea, uso espontáneo del lenguaje y conducta global.

Este es el soporte creado en 2016. Como hemos podido comprobar en estas mismas fechas ya había creado soportes que incluían desarrollos que sería de esperar también estuvieran presentes en éste, pero que no lo están, aunque no existan razones que expliquen el motivo. La que ahora mismo me llama más la atención es la ausencia de un informe descriptivo como el que sí consta en otros soportes creados en esta misma época. Es posible que las dificultades para tratar colecciones de datos como las que constituyen los grupos de celdas  C12:F12, y de  mayor  complejidad aun, la columna N de Fonología, hiciera poco viable este tipo de desarrollo, ya que aun hoy en día supone todo un reto.

Abordemos o no ese reto (queda por ver), lo que sí hará ahora es dar por finalizada esta entrada, dejando pendiente para otra la actualización del soporte PLONrFono_2016 y su conversión en docap. De momento, y a continuación, te dejo acceso a éste y a otro más básico aun y en formato texto sobre RFI.

Documentos:

• RFI. Item. Soporte original en formato .doc 
• PLONrFono_2016. Soporte original revisado en formato ods (Calc)

Estos documentos no sustituyen a los materiales originales. Ambos los requieren para poder ser empleados, especialmente los recursos gráficos, a los que sirven de apoyo.

Notas:

NOTA 1. Como dato, la portada que ilustra esta entrada corresponde a la publicación de 2005 por la editorial TEA, pero antes que esta hubo una edición anterior.

NOTA 2. Me refiero al soporte Excel, pero algo parecido podría decirse de las versiones File Maker.

NOTA 3. Cierto que de RFI constan documentos fechados con anterioridad (2004 e incluso 1999), pero éstas correspondería (en su caso) con versiones anteriores de PLON, por lo que ya no estaríamos hablando de esta prueba en sentido estricto, además de que no consta que existan documentos equivalentes de dicha versión del PLON y menos específicamente de su desglose por niveles o ámbitos estructurales del lenguaje.

NOTA 4. Dado que este análisis no está concluido, la afirmación anterior debe tomarse con reservas y ser considerada como provisional, aunque existen indicios de que no se alejará mucho de las conclusiones finales. En realidad, como hemos visto y comentado en una entrada anterior la presencia real de soportes documentales en cualquier formato (incluso en doc o pdf) el uso de materiales.

NOTA 5. De hecho esas formas básicas (soportes doc) suponen un aumento de trabajo, ya que se deben trasladar las anotaciones en papel al documento Word. Este doble trabajo ya es de por sí suficientemente disuasorio como para explicar la escasa presencia de documentos de este tipo o fase.

NOTA 6. Aunque el formato BD (recordemos, en File Maker) es igual de funcional o incluso más que los soportes en Hc, existen en ambos (y aun más en BD) problemas de accesibilidad y algunos no siempre resueltos satisfactoriamente de funcionalidad. Los primeros tienen que ver con las posibilidades de uso de medios informáticos adaptados al contexto de evaluación (en algunos test un ordenador de sobremesa no es precisamente una buena herramienta) y los segundo con el nivel de desarrollo del soporte, lo que equivale a decir, de habilidad de 'programación' del orientador.

NOTA 7. En realidad, la mayor parte de los soportes Hc creados en los años de mayor uso de estos medios (2014, 2015 y 2026), pero también a posteriori, apenas cuentan con macros o script, siendo predominante el uso de funciones integradas en Excel y posteriormente en Calc. Solo las herramientas creadas en File Maker hacen uso de macros, en realidad funciones cerradas, creadas en un lenguaje específico de macros que permiten automatizar ciertos procesos; pero estas funciones son equivalentes a un producto intermedio a una función propia y una macro de las que es posible crear en una hoja de cálculo. 

NOTA 8. La aplicación real requiere las láminas PLON-R o su sustitución por una presentación PPT o similar, pero eso queda a tu cargo.

NOTA 9. En el caso de pruebas de evaluación del lenguaje oral es recomendable hacer grabaciones de audio de las producciones del niño, al menos para asegurar y/o comprobar cuestiones concretas que puedan dar lugar a dudas. Personalmente recomiendo el programa Audacity, que puede estar actuando en segundo plano en el mismo ordenador a la vez que empleamos nuestro soporte Calc en primer plano.

Recursos. Evaluación

Prueba de Segmentación del Lenguaje (PSL)

Presento en esta entrada la versión Hoja de cálculo (sin código OOo Basic) del test PSL, material de elaboración propia (la versión Hc) realizada en 2009. Esta prueba fue elaborada por Jiménez y Ortiz (1998) y se presenta en versión libro (1), mi versión fue realizada originalmente sobre MSO.Excel en 2009 y posteriormente  adaptada a formato LO.Calc.

La Prueba de Segmentación del Lenguaje (PSL) tiene como objetivo la evaluación de diferentes componentes de la conciencia fonológica. La versión que ahora presento carece de cualquier tipo de código, por lo que su funcionamiento no presente ninguna complejidad, lo que facilitó el cambio de la versión MSO.Excel a la actual LO.Calc

Este soporte fue creado para uso personal y conta de dos partes, coincidentes con las dos hojas de que consta el documento-soporte:

• Ejercicios, donde se presenta el listado de ítem de la prueba. Este listado está dispuesto verticalmente en una hoja protegida donde quedan accesibles las celdas de la columna siguiente a la de redacción del ítem, de modo que el desplazamiento en vertical se ve favorecido por el simple uso de intro.
• La segunda hoja, Resultados, es un computo de las puntuaciones que alcanza el sujeto en los diferentes subtest (16) de la prueba, la suma de esas puntuaciones parciales y la valoración en términos de percentil.

Las funciones Calc empleadas son las siguientes:

• las asociaciones de celdas entre hojas
• la fórmula SUMA()  para el parcial de cada subtest y para el total de la prueba
• y un condicional SI() encadenado para el cálculo del percentil correspondiente a la puntuación total. Dado que es una prueba que se aplica a I3, el baremo es único, lo que simplifica el diseño del sistema de corrección.

Esta prueba en su simplicidad de aplicación y de composición muestra el modo inicial de uso de Hc en el proceso de evaluación, tanto en lo positivo (su sencillez) como en sus limitaciones: no contiene ningún procedimiento de análisis y/o valoración de los resultados al margen de la categorización que establecen los autores y que se manifiesta mediante al función condicional SI().

A pesar de ello, la funcionalidad del recurso se puede considerar satisfactoria y supera ampliamente lo que el material original aporta sin suponer un coste significativo ni de tiempo ni de nivel de conocimiento y manejo de las Hc. Además evidencia las ventajas de utilizar Hc como soporte sobre una versión precedente en Word, que nada añade a una fotocopia en papel, salvo la posibilidad de "informatizar" el documento para archivarlo directamente como tal.

Esta es un poco la esencia del formato inicial de los documentos Hc:

• Sencillez de creación y bajo coste de tiempo y de conocimientos informáticos
• Empleo de una  herramienta conocida o, cuanto menos, accesible, al formar parte de los componentes del paquete ofimático.
• Aplicación de pocas pero suficientes funciones propias de las Hc
• Uso directo del instrumento contando con acceso al ordenador en el momento de la evaluación (y sin necesidad de instalar ningún programa)
• Computo directo de los resultados y estimación de valores muestrales (en caso de baremos simple)
• Posibilidad de almacenamiento informatizado y directo tras la aplicación de la prueba.

Como principal limitación, la ausencia de mecanismos de automatización del análisis sobre la que basar la elaboración de un informe-base. En el caso concreto de este test se hace notar especialmente por la ausencia de análisis de resultados parciales, ya que, teniendo en cuenta la estructura de la propia prueba, en su diseño está implícito un uso directo para definir procesos de intervención de apoyo en el ámbito de la logopedia clínica.

Documento:

• Test PSL

Nota:

(1) Jiménez y Ortiz (1998) Prueba de segmentación lingüística (PSL)

Opinión. Sobre evaluación.

Hoja de cálculo y evaluación

Hablé en una [entrada anterior] sobre la escasa pero relevante presencia en los expedientes SEO de soportes informatizados de pruebas de evaluación y analicé el uso de documentos pfd como resultado de la aplicación de bases de datos y de hojas de cálculo como documentos-soporte para la recogida y el análisis de información. En esa misma entrada comenté la conveniencia de profundizar en este segundo tipo de documentos, quedando pendiente para una entrada posterior. Esta es esa entrada.

La idea es complementar el trabajo iniciado en su momento analizando la forma en que se han presentado "históricamente" estos soportes basados en hojas de cálculo (Hc), ya que el uso de bases de datos (BD) exigiría salirse ampliamente de la temáticas de este (y otros) blog, puesto que los documentos pdf no son otra cosa que la finalización de un complejo proceso de elaboración que involucra un servicio complejo específico, ajeno a Libre Office: File Maker.

Digo "históricamente" porque en efecto, esta estrategia tiene ya su historia (1) y conocerla es útil para comprender el camino recorrido y el punto en que se encuentra en la actualidad. Por situarnos por aproximación, constan recopilados instrumentos basados en hoja de cálculo fechados en 2014, y a partir de este año abundan los fechados en los años que siguen a 2014. Ni siquiera puedo confirmar que no tenga versiones anteriores a 2014, pero en su caso se trataría de recursos escasos y básicos (2)

Decir lo anterior es mostrar una excepción a la regla: son pocos los OE que utilizamos hojas de cálculo con fines de registro de actuaciones de algún tipo, y menos aun como recurso para el trabajo con medios de evaluación. De hecho, en los expedientes consultados todas las hojas de cálculo que encontré eran exclusivamente producto de mi propia actuación (3)

Tampoco hay que echar las campanas al vuelo, ya que tampoco yo es que me haya extendido especialmente en el uso de este tipo de soporte. Y para ejemplo el escaso (pero significativo) número de las encontradas en los expedientes.

¿Cuáles son las causas del bajo nivel de uso de las Hc por parte de los SEO?.

Posiblemente esta pregunta no tenga una respuesta ni única ni clara, pero tal vez aporte algo el conocimiento del tipo de datos que se recogen en las Hc: fundamentalmente numéricos y listados. Los análisis numéricos son poco relevantes (4) en la intervención "normal" de los SEO, y la creación y uso de listados (que es y especialmente fue mucho más frecuente) es perfectamente asumible desde un procesador de texto (usando tablas).

Ciertamente, el contacto de los SEO con la informática, que no tuvo (ni aun tiene claramente) como objetivo la automatización de los procedimientos, fue inicialmente con el servicio procesador de texto como principal (por no decir única) herramienta informática. Esto es lógica consecuencia del contenido central de las actuaciones de los SEO: la realización de informes de diverso tipo, fundamentalmente de evaluación psicopedagógica y cumplimentar documentos exigidos por la Administración educativa.

Esta hegemonía de la creación de documentos y, por consiguiente, del procesador de texto (heredero directo de la máquina de escribir, que fue herramienta indispensable en los inicios de los SEO), deja poco margen para otros servicios. Si acaso podría resultar de utilidad el uso de hojas de cálculo para realizar análisis cuantitativos de actuaciones en los procesos de evaluación de la actuación anual (memorias de trabajo), pero aun en este ámbito tan limitado el uso de Hc fue siempre limitado (por no decir anecdótico) y un tanto "extraño" al hacer profesional (5).

Si nos fijamos ahora más específicamente en el uso de Hc como soportes para la evaluación, a los motivos anteriores hay que unir el de la irrelevancia: las editorial que publican los test ya proveen de soportes (papel) para la aplicación y recogida de datos, con lo que hacen innecesario crear soportes específicos. Posteriormente y en ciertos casos, proveyeron de sistemas automáticos de corrección y (más limitadamente) de análisis (informes básicamente descriptivos, pero informe al fin), primero como software anexo al material de test y después (en algunos casos, vuelvo a insistir) on-line.

He insistido doblemente en la excepcionalidad de los soportes informáticos que proveen las editoriales porque efectivamente lo son: excepcionales y escasos, aunque es posible que al menos algunas editoriales (TEA, por ejemplo)  hayan invertido  más en estos soportes, tanto por ayuda al profesional como por interés propio: a la editorial de aporta una información muy importante para mejorar sus propias herramientas.

En Cualquier caso, la consecuencia es que existen pocos estímulos para que un OE se dedique a "perder" un tiempo del que no dispone en la creación de un soporte que teóricamente no necesita, que no puede llegar al nivel de utilidad que le sería realmente necesario (la corrección automática) y que, por lo general, no le evita tener que realizar el análisis (aun el meramente descriptivo) "a mano", salvo que se aventure en peripecias de más hondo calado (y mucho más costosas en tiempo y esfuerzo) como el la creación de macros. Y no digamos de script.

Efectivamente no parece razonable ni ser una prioridad dedicarse a crear soportes Hc para herramientas de evaluación, salvo que exista un interés personal, no directamente profesional (cierto es que ambos pueden converger) en conocer más a fondo las herramientas informáticas y, motivados por ese interés general, nos adentremos en el mundo de la programación, aun en sus formas básicas.

Esto o que la carga de trabajo lleva a plantear la necesidad de automatizar los recursos, empezando por la elaboración de documentos y (una cosa lleva a la otra) también, por qué no, los de evaluación psicopedagógica.

Aunque sea otro ámbito (no el de la evaluación), si a los nuevos alicientes de automatización unimos los que derivan de la necesidad de desarrollar procesos de registro y análisis de la intervención más detallados, centrados en el  cumplimiento de objetivos al menos parcialmente cuantitativos, se va haciendo cada vez más necesario a los SEO manejar hojas de cálculo y, en consecuencia, conocerlas con mayor profundidad.

A ello también contribuyen las exigencias de la Administración de cumplimentar documentos en este tipo de soportes. Cierto es que esta exigencia burocrática es relativamente reciente y, sobre todo, que no aporta gran cosa en términos de automatización y/o programación (incluso puede decirse que, en cierto sentido, obra en contra de estas dinámicas), pero al menos ha visibilizado a los SEO la pertinencia de las HC como soporte documental, obligando a cierto nivel de uso  (aun muy limitado, cierto es) y, por consiguiente, de familiaridad. Y algo queda.

Algo queda que no sirve para dar pasos en dirección a la automatización, pero al menos rompe la expectativa negativa del profesional respecto a incorporar el uso del servicio como parte del bagaje profesional.

Ahora bien, otro factor que incide negativamente en la creación y uso de soportes Hc es que, si la elaboración de éstos requiere tiempo y cierto conocimiento al menos de las funciones Calc (y mucho mejor aun de la creación de macros), se reduce de forma importante la lista de posibles creadores de soportes, algo que no de da respecto a la creación de modelos documentales simples (en .doc).

Esta reducción lleva a que las limitaciones que derivan del obligado respeto a los derechos de autor frene la creación "para el mercado de colegas", y más aun la distribución de recursos de este tipo. Uno puede crearlos para sí mismo sin contravenir derechos ajenos, pero es mucho más dudoso que ciertos soportes no impliquen infracción de normativas, algo cuyas consecuencias nadie quiere encontrarse por el camino, y menos aun "por hacer un favor".

Esto hace aun más complejo recorrer el resto del camino, que además exige tratar otras cuestiones e indagar en las propias Hc y sus funcionalidades. 

A ello dedicaré la entrada que sigue. En ésta, una vez cumplido el primer objetivo y para no hacerla más extensa, hasta aquí hemos llegado.

Notas:

(1) Y también "prehistoria", pero esta está escrita con procesadores de texto: los primeros soportes documentales de recursos para la evaluación fueron creados como documentos-base en formato .doc y similares.

(2) En una revisión de tanteo he localizado herramientas basadas en Hc fechadas en 2009 y 2010. Efectivamente son pocas  y simples, pero no tanto como presuponía.

(3) Lo mismo tendría que decir respecto al uso de BD,  que serían aun más minoritarias y esto fuera posible. 

(4) Matizaré más adelante esta valoración tan tajante como incorrecta en sentido amplio y con perspectiva temporal, pero en este contexto inmediato es correcta.

NOTA 5. Digamos que los procedimientos de análisis realizados en las memorias anuales no exigían precisamente complejos cálculos ni la elaboración frecuente de gráficos estadísticos. En todo caso, el empleo de Hc para estos fines siempre fue muy reducido y simple. 

Evaluación. Audición

Test de Weepman

No se trata en este caso de un docap, tan sólo un soporte Calc para el registro y la evaluación del test de discriminación auditiva de Weepman, vetusto instrumento diseñado allá por el año 1958 por Joseph Weepman y que tiene como objetivo la evaluación de la discriminación auditiva mediante sencillas tareas de discriminación igual-diferente entre dos pares de palabras que se diferencian por pares fonémicos mínimos (o que son iguales).

El test de Weepman (1) fue adaptado al español por Raul Chamorro y se utiliza en forma de evaluación individual en niños de 5 a 8 años de edad. Originalmente se plantea que el ambiente de evaluación esté libre de ruido y que se impida la lectura labial, a fin de que la evaluación se produzca en un ambiente sonoro libre de interferencias que puedan dificultar la correcta discriminación auditiva y que los resultados no estén sesgados por las posibles habilidades de lectura labial del sujeto.

El adulto emite las dos palabras con un breve intervalo de tiempo de diferencia y solicita del niño que emita el juicio SÍ/NO a la pregunta "¿Son iguales estas dos palabras?". Caben otras opciones de pregunta y respuesta (vg. P. "¿Cómo son estas palabras: iguales o diferentes?"., R. "Iguales/Diferentes"), pero la primera opción parece la más adecuada, aunque sería conveniente asegurar mediante entrenamiento previo que el niño ha comprendido qué se le pide y que significa igual-diferente en términos de audición.

El examinador anota la respuesta (I - Igual, D - Diferente) y cuenta los aciertos, que posteriormente se expresan en %. Cuantitativamente se admite un 90% de error como margen de "normalidad", aunque es preferible el 100% de acierto. También se puede utilizar la siguiente tabla de referencia para marcar el límite entre habilidad normalizada vs. dificultad de discriminación auditiva:

• Para 5 años -> son aceptables 6 errores (85% de acierto)
• Para 6 años -> son aceptables 5 errores (87,5% de acierto)
• Para 7 años -> son aceptables 4 errores (90%)
• Para 8 años -> son aceptables 3 errores (92,5%)

En el informe que se emita se deberá explicitar cual de las dos referencias es la que se ha utilizado para valorar cualitativamente el resultado que obtiene el niño.

También a nivel cualitativo es conveniente identificar los pares de fonemas en los que se observa confusión, identificando los rasgos distintivos de ambos en cuanto a punto y modo de articulación. Se supone que, en base a estos resultados, de ser necesario, se desarrollará un programa de estimulación auditiva que puede tomar como referencia las listas de palabras que Quilis o otras herramientas similares.

Se aprecia en este test una clara orientación hacia la evaluación y la intervención de orientación clínica y específicamente verbal y analítica. También se puede señalar la antigüedad del recurso y su falta de adaptación a las investigaciones posteriores sobre el desarrollo fonológico y los problemas asociados a la discriminación auditiva.

Desde el punto de vista de la detección, este test sólo puede servir a modo de screening, como recurso previo a la derivación, ya que la correcta detección de dificultades auditivas debe ser valoradas por el ORL y corroboradas por el audiólogo mediante recursos específicos (audiometrías, otoemisiones acústicas....). Aun como prueba de screening deben valorarse (además de su pertinencia) la conveniencia de utilizar pruebas más actualizadas, como Palabras mágicas.

Considero que, además de lo indicado, el tipo de análisis cualitativo que se propone incurre en un error procedimental y hasta conceptual, propio de la fase histórica en que se construyó este test: teóricamente evalúa discriminación auditiva, pero en la práctica se propone el análisis no de los rasgos auditivos específicos y diferenciales de los fonemas, sino los distintivos de su producción (punto y modo de articulación), lo que no deja de ser correcto desde la perspectiva de la estimulación auditiva analítica (que presupone que la correcta diferenciación en la producción de los fonemas favorece su correcta discriminación), pero es insuficiente desde el punto de vista del análisis de las posibles dificultades que son, primeramente, auditivas, no fono-articulatorias. De hecho, una posible consecuencia de este análisis podría ser la confirmación (o no) de la correspondencia entre dificultades de discriminación auditiva y de producción fono-articulatoria (dislalias), empleando a tal fin pruebas específicas (como, por ejemplo, el RFI o similar).

Desde el punto de vista de la intervención, el sesgo claramente clínico y de corte analítico resulta poco ajustado a los actuales modelos de intervención, aunque no por ello se puede descartar su pertinencia, siendo responsabilidad del clínico (logopeda) optar por el enfoque de intervención que, a la vista de los datos disponibles, considere más adecuado. Lo que sí resulta evidente es que no corresponde este tipo de intervención a la especialista de Audición y Lenguaje en el ámbito escolar.

A pesar de esas limitaciones, es posible encontrar utilidad al test de Weepman, aunque para ello sea necesario realizar modificaciones en las condiciones de uso y en el análisis resultados. Me refiero a los siguientes posibles usos:

• Como confirmación de las dificultades de la misma naturaleza detectadas con otro test similar (Palabras mágicas)
• Análisis de correspondencias con dificultades fono-articulatorias (dislalias) (RFI)
•  Discrepancia vs. similitud de resultados en contextos sonoros diferentes: con/sin ruido ambiente, en contexto de aula (en presencia del grupo y los distractores que implica este contexto, además de sus características acústica) vs. despacho (interacción individual niño-examinador)
• Evaluación con/sin acceso por LLF

... son algunos de los usos que se pueden dar al test Weepman (y a otros test similares) incluso con preferencia sobre su empleo como recursos de screening previo a derivación a Pediatría-AP, sin descartar tampoco esta opción.

Por lo que se refiere al instrumento, indicar que lo que sigue es una descripción general del mismo, reservando un análisis técnico más detallado para esta otra  entrada.

Se trata, como ya indiqué, de un soporte que no emplea código OOo Basic (por lo que no se trata de un docap), pero sí incorpora el uso de funciones Calc. Consta de tres hojas:

• Id(entificación) para recogida de datos de identificación, pero también para síntesis de resultados (cuantitativos y de valoración global)
• It(em) como soporte para el uso del test y la recogida de datos.
• E Info(rme)  como recurso para formalizar el análisis de los resultados.

Destacar que no se hace uso de campos de formulario en Id, sirviendo a tal fin las propias celdas. Los cómputos y la valoración de resultados están asociados con la hoja It y entre sí, utilizando como referencia para la valoración el criterio 90% de acierto (2).

Respecto a It, indicar que la recogida de datos se basa en que el examinador registre la respuesta del niño (I vs. D) en la columna correspondiente (RESUL), quedando el resto sujeto a las funciones empleados, destacando el uso generalizado de la función SI() como base para la puntuación y para la identificación de los pares de fonemas afectados por posibles errores de discriminación. Los resultados globales del test se recogen en Id.

Finalmente, en Info se hace uso de funciones condicionales (SI()) junto con la función CONCATERNAR(). Del uso de ambas surge un breve informe mixto (cuantitativo - cualitativo), pensado para ser archivado en formato pdf, previa exportación a ese formato.

También se prevé que el documento Calc sea archivado como registro de la aplicación del test, previa grabación con el identificador propio del alumno (y si acaso la fecha de aplicación), aunque esto se realizar manualmente y queda al arbitrio del evaluador (3)

NOTA 1. Weepman; J (1958). The Auditory Discrimination Test.

NOTA 2. Se podría considera la necesidad de crear otro soporte que se ajuste al criterio de análisis de resultados (máximo de errores) en función del curso, pero esa es una tarea pendiente.

NOTA 3. Las posibles opciones de uso (alternativo) que se proponen en esta misma entrada no están consideradas en este soporte. Hacerlo implica desarrollar un conjunto de recursos interrelacionados que exigiría su formulación como docap complejo, algo ni previsto ni siquiera pensable en el momento en que se creo el original de este soporte. 

Materiales

• Cuestionario en pdf
• Soporte Calc

Evaluacion. Inteligencia

Test breve de inteligencia K-Bit

Herencia de la primera versión de este blog, esta entrada rescata de un inmerecido olvido el material creado en su momento para explicar un docap creado sobre  Writer para facilitar la aplicación y el análisis del test K-Bit.

El test k-Bit o Test breve de Inteligencia de Kaufman es una medida de la inteligencia verbal y no verbal de niños, adolescentes y adultos.  Está calificado dentro del grupo de los test breves de inteligencia por su finalidad, estructura factorial y su composición: tres subtest: Vocabulario expresivo + Definiciones y Matrices, tres  factores: verbal (Vocabulario), No verbal (Matrices) y General (CI compuesto). Sobre la evaluación con test breves puedes consultar este documento.

Es una prueba de aplicación individual, por lo se deberá reservar para procesos que requieran desarrollar el proceso de evaluación a este nivel, permitiendo:

• Simplificar y acortar (entre 15 y 30 minutos de aplicación) la evaluación individualizada de la capacidad intelectual o nivel de rendimiento cognitivo en tareas no escolares.
• Identificar niños de alto riesgo para derivar a procesos de evaluación clínica específica.
• Realizar evaluaciones de seguimiento del nivel de desarrollo o rendimiento aptitudinal general y específico verbal-no verbal.

Actualmente editado por Pearson (ISBN 9788493882525) con un coste total de 221 € ¿+ IVA?, incluye manual (coste individual sin IVA 103,95 €), 25 cuadernillos de anotación (coste del pack sin IVA 51,85 €) y cuaderno de exámenes (no se vende por separado). No resulta ser un test especialmente caro, por lo que, dada su utilidad y la amplitud cronológica de uso se puede considerar una prueba recomendable en esos términos.

Por su estructura y función, es comparable al test RIST (ver entrada específica sobre este test). Al igual que éste, K-Bit cuenta con un recurso para posible profundización en la evaluación aptitudinal mediante el test k-ABC (Kaufman), pero al contrario que RIST-RIAS, K-Bit no se puede considerar una versión simplificada de K-ABC, por lo que no es directamente escalable. Además K-ABC no cuenta con versión actualizada adaptada a la población española, por lo que, en la practica, su uso no resulta ser una opción viable.

En un uso pensado en el análisis del desarrollo de habilidades, sus dos test permiten:

• Vocabulario: evaluar la habilidad verbal para emitir respuestas orales, el desarrollo del lenguaje, el nivel de conocimiento léxico y la formación de conceptos expresado verbalmente.
• Matrices: evaluar la capacidad de resolver problemas de razonamiento por analogía en base a estímulos figurativos abstractos.

 K-Bit no requiere respuestas motoras complejas, por lo que es aplicable a niños con algún tipo de impedimento físico. Por el contrario, sí es sensible a problemas que afectan a la audición y/o al desarrollo del lenguaje, lo que se debe tener en cuenta en la evaluación de niños que presenten algún tipo de déficit en esos ámbitos. De hecho, la propia comparación del rendimiento en Verbal vs. No verbal puedes ser de interés para la aplicación de estrategias de evaluación que impliquen el uso de este test con estas finalidades. 

En este caso el índice general no se debe emplear como resumen válido del nivel aptitudinal general (CI general). Siendo éste como es el objetivo principal del test según su definición originaria, se deberá valorar la pertinencia del recurso para esta posible finalidad, así como manejar los resultados que se obtengan con la máxima cautela.

Dado que Pearson no proporciona recursos digitales para la recogida y análisis de datos, para facilitar la aplicación del test K-Bit, y partiendo del uso de los materiales que proporciona la editorial, en este entrada proporciono acceso al documento writer que soporte al docap, así como un documento explicativo pensado para facilitar la comprensión del funcionamiento del docap.

• Docap K-Bit
• Documento explicativo del docap

Opinión. Evaluación.

Sobre la reclamación de calificaciones.

Recientemente me he encontrado con una documentación de apoyo al profesorado, proporcionada por SIE de la Consejería de Educación de Asturias que he de reconocer me ha dado que pensar. Tanto en positivo como en negativo. Me limito a la documentación para E. Primaria, pero los soportes dan respuesta a todas las etapas y opciones educativas.

Fuente

Es mucho lo que de positivo que tiene esta documentación, y no renuncio a comentarlo, pero también de negativo hay, aunque cierto es que más por lo que implica (esa documentación) que por lo que propiamente de negativo tiene ella misma.

Pero antes de nada empezaré por decir que lo que presento aquí son impresiones personales, no análisis documental o temático. Eso, de hacerlo, será en otro momento; por ahora tan sólo comparto impresiones.

Las positivas:

• Es de agradecer que el SIE se involucre, dentro de su función de asesoramiento, proporcionando documentación rigurosa y fundamentada en derecho administrativo para facilitar el abordaje de una cuestión tan compleja que no en pocas ocasiones acentúa los conflictos que la hacen necesaria.
• Cierto es que esta documentación pretende también formalizar el procedimiento, simplificando a posteriori la toma de decisiones que corresponda a la Consejería de Educación y al propio SIE, pero esto no tiene nada de negativo, al contrario, es un beneficio para todos los implicados, empezando por el propio profesorado y las familias involucradas.
• También es positivo que la documentación en sí recoja el conjunto de procedimiento y de respuesta a esos dos contextos o situaciones en los que se puede presentar en E Primaria(cursos pares, con sus implicaciones de promoción de ciclo y cursos impares): el tratamiento minucioso y sistemático del procedimiento que subyace permite que la documentación de respuesta integral al mismo, no dejando partes del procedimiento sin atender.
• El propio formato facilita que sea (formalmente) accesible: al estar soportado sobre documentos Word se facilita tanto la accesibilidad como el manejo de la documentación. 
• El hecho de incluir una redacción en la que se identifican con claridad los elementos a complementar de los opcionales facilita la cumplimentación de la propia documentación.
• Aunque sólo como potencial desarrollo/aplicación de lo que aquí emerge, esta documentación facilita concretar la colaboración/asesoramiento del SIE a los centros y, en particular a los equipos directivos, vía para que éstos lo puedan hacer de las familias y los equipos educativos.

Pero también las negativas, empezando por las formas...

• Sería deseable que la forma en que se presenta la documentación incluyera procedimientos de (semi)automatización de cumplimentación de la misma, y mejor aun, de integración del procedimiento en los recursos de gestión documental de los procedimientos administrativos (léase en el caso de Asturias desarrollo de SAUCE en esa línea).
• También sería de agradecer que se proporcionaran ejemplos concretos de formalización del proceso y de cumplimentación de la documentación; un "a modo de" casuística. Cuanto menos esta documentación debería estar disponible para que el SIE oriente/asesore a los equipos directivos y/o docentes.

Con todo, lo que más llama mi atención son las siguientes cuestiones que expreso como "temores":

• Me temo que la complejidad jurídico-administrativa que expresa la documentación presentada supere con mucho la capacidad de gestión de los centros, y más aun de los equipos docentes: entender no tanto la documentación como el procedimiento que subyace y su naturaleza jurídico-administrativa implica y pone de manifiesto la consolidación de una tendencia para nada positiva de hacer compleja innecesaria y hasta contraproducente la labor educativa...
• .. así como la consolidación aun más negativa de la "cultura" de la queja y de la primacía del derecho (del alumnado y de sus representantes legales)  como "consumidores/usuarios" imponiéndose a la función educativa de la institución escolar y del profesorado con todos sus significados. 
• No sin cierto cinismo por mi parte, lo reconozco: resulta "curioso" que la reclamación se entienda necesariamente ligada a una calificación negativa o una decisión de no promoción, pero no sobre una calificación positiva indebida o una petición de no promoción como opción de la familia.
• Desde luego no es lo que se concreta en el texto real de la documentación, pero sí lo que aparenta el título de (algunos) los documentos: el profesorado es quien debe justificar su calificación/decisión que se supone (aparentemente) susceptible de ser modificada. Esa es la solución (aparentemente) "preferente".

Resumo: mucho me temo que lo que esta documentación trasluce (y con ello no quiero matar al mensajero) es el cambio de perspectiva que tan bien representa la imagen que ilustra esta entrada: el mundo en el que el alumno es cliente que debe ser satisfecho no es el mundo en el que el alumno lo es por derecho (y obligación) a la educación. 

En este tránsito, el profesorado ha pasado de ser el responsable y guía de ese proceso educativo a ser responsabilizado del fracaso del alumnado en el logro de los objetivos de aprendizaje. Curiosa realidad ésta en la que el éxito siempre es del que aprender y el fracaso (del que aprende) no se considera opción y de darse se entiende "razonablemente" responsabilidad del que enseña.

La Escuela así entendida no sólo es un parque de atracciones (que también), es una manifestación más del mercado. Y ya se sabe que el cliente siempre tiene la razón, y si no la tiene se le da, que de lo verdaderamente importante ya nos ocuparemos cuando corresponda.

Para que no falte asesoramiento y guía en estos procedimientos, siempre están prestos los primeros interesados y beneficiarios. Están en su derecho y es su negocio. ¿Cuál es el tuyo como padre o madre?.

Postdata 1: Para que no quede la menor duda: me encantaría descubrir que estoy totalmente equivocado.

Postdata 2: Nada de lo anterior debe prejuzgar mi opinión sobre las calificaciones (y menos aun las negativas) y sobre la "repetición de curso". Me reservo el derecho a tratar sobre estos temas cuando lo considere oportuno.

Postdata 3. Esta entrada de "opinión" deberá tener continuidad en otra de análisis y sería conveniente que hubiera una tercera de propuestas. Espero que sea posible, si dispongo de tiempo y y datos... aunque obligación ninguna.

Opinión. Sobre evaluación

Pruebas tipo cloze

Un ítem tipo cloze y las pruebas basadas en él, son elementos de corrección objetiva y referencia a norma. Se basa en un texto al que se le han suprimido palabras que se sustituyen por ______ (guion bajo) para permitir al alumnado completar el texto con la palabra correcta. El alumno o alumna debe deducir la palabra bien por el contexto, bien por un proceso previo de aprendizaje. Se emplea para la evaluación del aprendizaje conceptual, el conocimiento léxico, la memoria verbal inmediata y la comprensión lectora.

Deriva de la prueba de huecos, aunque se diferencia de ésta en que se suprimen únicamente palabras, no conjunto de palabras o segmentos completos de texto como en la primera.

Según se explica en la web del Centro Virtual Cervantes, para la creación de unen un ítem cloze se siguen los siguientes procedimientos:

• Se deja una frase o un fragmento con sentido completo para ofrecer un contexto significativo al alumno.
• Es muy importante determinar cual es la primera palabra que se suprime, ya que condiciona la supresión de la siguiente.
• Normalmente se eliminan las palabras 5ª, 7ª o 9ª a partir de la primera suprimida. 

Siguiendo al Instituto Cervantes, los ítem cloze dan lugar a pruebas de niveles de dificultad muy diferentes y evaluaciones de contenidos muy distintos partiendo del mismo texto en función de las palabras que se supriman, al menos cuando esta supresión se realiza al azar. Esto afecta a la validez y a fiabilidad, por lo que se debe ser muy cautos a la hora de emplear este tipo de ítem.

Otras investigaciones (Alderson et al.) han demostrado que el alumnado tiende a fijarse en las palabras que anteceden al hueco, lo que inhibe o dificulta una lectura del conjunto de texto, afectando a la comprensión lectora.

Presenta además dificultades para establecer criterios de corrección, siendo dos las modalidades predominantes, presentando ambas limitaciones significativas:

• Sólo se acepta como correcta la palabra original del texto, lo que puede resultar extremadamente complejo en determinadas pruebas.
• Se consideran válidas todas las opciones plausibles, lo que conlleva una dificultad elevada a la hora de delimitar el conjunto de opciones válidas y puede llevar a diferencias significativas en función de quien corrija la prueba.

A pesar de estas limitaciones, las pruebas cloze o el uso de ítem de este tipo es bastante común en ciertos enfoques educativos, debido a la sencillez de elaboración y la rapidez con la que se corrigen. Esta frecuencia de uso ha llevado a idear formas de evitar o reducir las dificultades antes mencionadas, como generar un listado de palabras con las suprimidas para que resulte más sencillo al alumno (debe recordar el orden, más que las palabras en sí) o crear sistemas de elección de palabras por ítem, delimitando la opcionalidad al listado que se presenta (caben diferentes opciones que incluyen la presencia de varios términos correctos -incluso con diferente nivel de "corrección- y/o la presencia de distractores). En ambos casos, el ítem cloze sufre una transformación significativa por simplificación o reducción del nivel de dificultad.

En esa misma línea de reducir el grado de dificultad, también se han creado ítem en los que en lugar de una palabra completa se elimina una o varias letras de la palabra, lo que reduce significativamente las dificultades antes mencionadas, pero transforman la prueba en algo diferentes ya que si la propia prueba genera una tendencia a centrar la atención en la palabra precedente (y no en la comprensión general del texto), este otro tipo de prueba genera tendencia a centrarse en la palabra objeto de omisión de letras. Este tipo de ítem se denominan "de tipo C" o "de texto mutilado".

En todo caso, dada la frecuencia de uso y la sencillez de elaboración, este modelo de ítem está incluido en los paquetes de creación de recursos que conforman las herramientas y lenguajes de autor como son Hot Potatoes y la plataforma moodle. 

Esto, a la vez que resulta de gran ayuda para el profesorado en la creación de recursos (1), presenta el inconveniente de que se promueve su uso sin tener en cuenta las críticas que se realizan a este procedimiento en los estudios técnicos de validez y fiabilidad, además de la poca transparencia y la simplicidad de los procedimientos de calificación que pueden tener implícitas.

Lo que sí es cierto es que merece la pena explorar las posibilidades que presentan estas herramientas en cuanto a la creación de este tipo de pruebas y su evaluación, lógicamente incorporando análisis críticos sobre sus características psicométricas y limitaciones procedimentales. Una forma de hacerlo es analizar los modos en que se plantea su uso en estudios psicométricos, los objetivos o finalidades con que se emplean y los procedimientos de análisis de datos que se usan en ellos (los estadísticos). Ver, por ejemplo, el análisis que de estas pruebas hace Morles (1981), los planteamientos de Artola González (1991) o el análisis y uso práctico que realizan Esquivel Gámez y otros (2016) 

Es menos frecuente encontrar subpruebas o incluso ítem individuales en los test y las baterías de evaluación psicopedagógica (2), aunque sí están presentes en pruebas de comprensión lectora y conceptual a nivel nivel universitario, como la que se muestra a la publicada por Difabio De Anglat (2008),cuyo párrafo inicial puedes ver en la imagen siguiente.

También se emplea en pruebas de evaluación diagnóstica, aunque por lo que he podido observar en una modalidad un tanto diferente y simplificada respecto  a lo que es un texto cloze en sentido estricto, y no tanto para la evaluación de la comprensión lectora como para evaluar el conocimiento léxico-conceptual. UN ejemplo a continuación.

Como ves, en ambos casos se trata de evaluaciones de tipo curricular/competencial, más que de nivel aptitudinal.

Una cuestión diferente en función, pero similar en la forma, es la formulación de soportes documentales en el ámbito de la gestión administrativa, por ejemplo, de los expedientes escolares. Este es el caso de los documentos de apoyo que proporciona la Administración educativa para facilitar y formalizar la ejecución de determinados procesos (3). Un ejemplo de ello es la documentación publicada por el SIE de la Consejería de Educación del Principado de Asturias para la gestión de los procedimientos de reclamación sobre calificaciones (2023). He aquí un ejemplo.

Analizaré esta documentación en otra entrada, volviendo  con a la cuestión de la ofimática educativa y los modos de trabajo que implica este tipo de documentos.

Notas

Nota 1. También podrían de utilidad para los SEO, por ejemplo para la creación de pruebas de evaluación centradas en el análisis del nivel de aprendizaje o de competencia curricular dentro de procesos de evaluación psicopedagógica.

Nota 2. Una excepción interesante es el estudio de Monsalve y otros (2002) sobre la comprensión de preposiciones y partículas interrogativas en población con discapacidad auditiva en la que colaboró el entonces EOEP Específico de Atención a la D.A.. La prueba ideada (o parte de ella) empleaba una técnica similar a cloze en la que se suprimían de frases las partículas objeto de evaluación en el contexto lingüístico de la frase.

Nota 3. Este tipo de documentos evidencia lo que para mí son dos deficiencias claras de las dificultades de la Administración para dar respuesta a las actuales necesidades de la gestión administrativa de los centros y del profesorado.