Evaluación

Automatización de la evaluación

Modelo básico de automatización de informe

Siguiendo el ejemplo del proceso que precede a la elaboración del informe, el [análisis de los resultados], y en base al mismo [ejemplo], muestro en esta entrada el procedimiento más sencillo de automatización del informe, el basado en funciones Calc. A pesar de su sencillez también presenta cierta complejidad que en parte deviene en limitaciones, las cuales, a la larga, hacen que crear este tipo de informes resulte excesivamente complicado, siendo necesario desarrollar otras estrategias.

Pero no avancemos tanto. Antes de llegar a sus límites es necesario presentar el recorrido que sí no es posible hacer mediante sus medios. En al explicación de esta fase del recorrido emplearé una estructura de contenidos no muy diferente de la [que expliqué antes] como propia de los informes de las plataformas de corrección automática. Es esta una coincidencia básica, yo diría que incluso inevitable, posiblemente porque necesariamente se llega a esta formulación cuando la prueba es el centro de interés obligado.

En lo que no voy a entrar ahora es en el análisis de los fallos de diseño. Tampoco tengo intención ni interés en corregirlos. Es más, considero que estas deficiencias resultan incluso pertinentes, ya que muestran lo que no es infrecuente que ocurra cuando usamos esta tecnología.

Tanto los datos de identificación como la tabla de resultados, ambos presentados de forma sencilla...

 ... son componentes necesarios y fáciles de incluir, ya que para ello sólo necesitamos crear la o las tablas y establecer la asociación entre celdas. Así es como he procedido en los datos de identificación ($ID.C6), aunque también se puede concatenar el contenidos de varias celdas (CONCATENAR($ID.C4;" ";$ID.D4)).

Este es el procedimiento que podemos usar para la tabla de resultados, pero caben otras opciones como el uso de funciones condicionales anidadas.

SI($CUESTIONARIO.H28="SR"; "Sin riesgo";SI($CUESTIONARIO.H28="RM";"Riesgo moderado";SI($CUESTIONARIO.H28="RE";"Riesgo elevado";"")))) 

A continuación viene el texto del informe, el cual se articula de forma modular, por párrafos, cada uno de los cuales referido a un tipo de contenido. 

Formalmente esta estructura se conforma mediante la diferenciación de celdas o grupos de celdas dimensionadas en función de la extensión máxima prevista, lo que no deja de crear dificultades estéticas y de espaciado.

En cuanto al contenido, el primer párrafo se dedica, por lo general, a describir la prueba. Esto permite que no sea necesario nada más que redactar el contenido que se considera adecuado y suficiente. 

Los párrafos que siguen contienen información sobre los resultados obtenidos por el sujeto, siendo tantos como sea preciso según la prueba. Esa distribución en párrafos se ajusta modularmente a los contenidos  que se hayan considerado de interés, por lo que varían de una prueba a otra en temática, número y extensión, si bien el principio básico a aplicar es el de mínimos: cuantas menos subdivisiones mejor, cuanto más breves sean las explicaciones, mejor.

Para componer el contenido se emplean conjuntamente funciones de concatenación, condicionalidad y asociación de celdas de diferente grado de complejidad, aunque aquí también el principio es el de simplicidad.

Por poner un ejemplo, explicaré la composición del tercer párrafo del informe-modelo utilizado para ilustrar este procedimiento. El segundo consiste, en este caso concreto, en la justificación causal del uso del instrumento, por lo que sirve de transición entre el primero (presentación) y el resto (análisis):

Vemos  que se trata de una síntesis de la globalidad de los resultados obtenidos, los cuales se indican por referencia al cuadro o tabla-resumen. Es una presentación personalizada, lo que exigen utilizar la asociación junto con la concatenación. Dada la redacción del párrafo no ha sido necesario utilizar la condicionalidad...

CONCATENAR("Teniendo en cuenta los resultados obtenidos, que se recogen en el cuadro anterior, ";$ID.C4;" podría presentar un nivel general de riesgo de TDA-H con trastornos de conducta asociados que se califica como ";F8;".")

... cosa que no sucede, por ejemplo, en la composición del párrafo anterior, aunque en este caso debido a motivos relativos a la gramaticalidad...

CONCATENAR($ID.C4;" ha sido ";SI($ID.E5="V";"evaluado";"evaluada");" empleando esta escala al presentar, a juicio de su tutora, ";$ID.C7;". Al cuestionario a contestado su ";$ID.F4;".")

Pero en otros casos (párrafo 4), la condicionalidad está en función de los resultados y conlleva una estructura de mayor complejidad. Y en este tipo de soluciones, esa complejidad y su correlato en cuanto a extensión del contenidos posible, conlleva un riesgo no desdeñable de comisión de errores, junto con la dificultad de gestión de la expresión de las fórmulas.

SI($CUESTIONARIO.F29=1;CONCATENAR("Analizando los dos factores considerados en este cuestionario (TDA-H y TC) observamos que en ambos presenta el mismo nivel de riesgo (";F9;")");CONCATENAR("Analizando los dos factores considerados en este cuestionario (TDA-H y TC) observamos que presenta niveles de riesgo diferentes. Así en cuanto a un posible trastorno de conducta se valora como ";F9;" mientras que se considera ";F10;" en cuanto a la presencia de TDA-H"))

De hecho esta es la razón por la que se adopta la modular y el principio de simplicidad que incluye el de brevedad. Pero también el que obliga a buscar alternativas al propio procedimiento, ya que este no facilita la automatización de informes complejos y/o extensos.

Una vez cumplimentados los datos (hojas Id y Cuestionario), al igual que automáticamente se generan los datos de análisis de resultados, también lo hace con el contenido de la hoja Informe. Un posible opción es exportar esta hoja a formato pdf (Archivo | Exportar a PDF | Intervalo | Selección/Hojas seleccionadas). El resultado es el siguiente:

Aquí se trata de una imagen, mera captura de pantalla, pero el documento original se puede guardar como documento en el expediente digitalizado del alumno, entregar a la familia o hacer copia para el profesorado.

Evaluación

Automatización de la evaluación

Informe automatizado del test

También hemos contemplado la posibilidad de [automatizar el informe] de la prueba, en base a la del análisis de los resultados. Este fase del proceso de automatización presenta más dificultades de las aparentes, ya que incluso habiéndolo logrado podemos estar muy lejos de nuestro objetivo. Buen ejemplo de ello es el exitoso fracaso de los informes que ofrecen las plataformas de corrección automatizada.

En efecto, estos informes nos pueden servir de modelo para pensar en los procedimientos de los que nos podemos servir para construir nuestros propios modelos de informe de test, si es que esto tiene sentido, cuestión que cada uno deberá plantearse, pero lo que no ofrece duda es que saber automatizar la generación del informe de la prueba es un conocimiento que incrementa la autonomía del profesional.

Tampoco me parece a mí que sea dudoso que conocer el enfoque empleado por esas plataformas de corrección es un buen enfoque de abordaje de la cuestión. Para lo bueno y para lo malo.

Para este análisis me basaré en las soluciones que aplica la editorial TEA, que es una de las que más interés ha mostrado por ofrecer una plataforma de corrección automática, incorporando la generación de informes de resultados como servicio. Un buen negocio para la editorial, por otra parte.

No trato aquí de realizar un análisis exhaustivo de estos modelo, así que es posible que se queden unas cuantas cosas en el tintero. Digamos que tan sólo es ésta una primera aproximación a lo que bien podría merecer un análisis más detallado, prolijo y mejor fundamentado. Eso sí, el que aquí vas a encontrar es  suficiente y útil para mis objetivos actuales.

Invariablemente la plataforma inicia el informe mostrando los datos de identificación...

... en un pulcro y estético formulario al que no hay nada que objetar y sí mucho del que aprender: en términos de automatización es absolutamente impecable en cuanto a aprovechamiento de la información aportada por el examinador que aquí debemos entender como alimentación de la base de datos del sistema. Mucho deberemos aprender al respecto, especialmente nuestra Administración, en lo que a cumplimentación de documentos prescriptivos se refiere.

La segunda también invariable parte del proceso es la presentación del perfil gráfico y cuantitativo de los resultados...

... en la que caben diferentes (aunque limitadas) opciones; una la que muestra la imagen precedente, la forma más sencilla; otra la que muestra la imagen que sigue, más sofisticada...

... pero en ambos casos se aprecia la correcta relación entre datos numéricos y representación gráfica simple, ilustrativa y acorde con la finalidad pretendida: hacer más comprensibles los resultados mediante su visualización.

La menos en estos momentos estamos muy lejos de poder aportar algo parecido, pero sí lo fundamental: el resumen de los datos que sirven para la construcción de los gráficos, los cuales también pueden estar presentes en nuestros modelos de informe automatizados, aunque o bien de forma mucho más simplificada o bien con un alto coste de ejecución, de modo que difícilmente se puede considerar que merezca la pena en términos de coste (esfuerzo) - beneficio.

La tercera parte del modelo TEA Ed. de informe del test es también invariablemente un conjunto textual, pero la estructura y el contenido son muy variables. Van desde una simple nota aclaratoria, como, por ejemplo, el informe del PROLEC-3...

... hasta extensos documentos compuestos por un número importante de páginas (10 e incluso más), aunque lo normal es que sean más breves. 

Estos informes que muestran más desarrollo contienen, en síntesis,  una descripción de la prueba, los resultados del sujeto en referencia a los valores normativos, un análisis valorativo de los mismos en términos de implicaciones respecto al constructo trabajado y/o al funcionamiento del sujeto y, finalmente, algún tipo de observación sobre lo que es relevante para el correcto manejo de los datos por parte del profesional. No todas estas partes tienen por qué estar presenten en el modelo de informe y menos aun tener el mismo peso o la misma extensión. En esto la variabilidad es muy amplia, evidenciando que en si base está un modelo de análisis elaborado por los profesionales que han construido la prueba y no una IA especialmente entrenada para generar estos informes. ALgo que evidentemente se agradece.  

En cuanto a la descripción del contenido de la prueba, en algunos casos ésta se presentan muy detallada, como es el caso del informe de DP-3, que inicia con un detallado texto explicativo de cada una de las escalas que componen la prueba...

... pero en otros es mucho más simple y general, haciendo referencia a la naturaleza y los objetivos del test. Este es el caso de Matrices...

... pero también de DP-3, que tras la presentación de las escalas reproduce un modelo más básico en la exposición del contenido del informe. En realidad PD-3 es muy reiterativo en los contenidos que incluye en su informe, por lo que seguiré en lo que resta el modelo de Matrices, más simple, pero también más claro e ilustrativo.

La segunda parte contiene la exposición de los resultados del sujeto, aquí claramente en comparación con la referencia normativa...

... seguido de las posibles implicaciones funcionales y/o de rendimiento de dichos resultados...

... finalizando con una serie de advertencias para los profesionales que, en caso de incluirse en el informe, se pueden presentar de formas muy diferentes. En este caso...

... como advertencias sobre la interpretación de los resultados. De todas las partes observadas, esta última es posiblemente la de menor interés, por tanto de la que podemos prescindir en la formulación de un modelo automatizado de informe del test. 

El resto de los contenidos del informe son perfectamente asumibles como parte de una propuesta de automatización, aunque sus contenidos, evidentemente, se deberán ajustar a la prueba en cuestión y, más aun, a los objetivos que perseguimos con su uso. 

Ahí es donde radica nuestra principal dificultad, a la que no se deben enfrentar, claro está, los profesionales que diseñaron el modelo de informe para las plataformas de corrección automatizada. Al menos podemos asegurar que nuestros análisis no serán necesariamente inferiores en calidad a los que ellos nos proporcionan, aunque posiblemente sean menos atractivos; por el contrario, es muy probable que se ajusten mejor a nuestro estilo de análisis y a las realidades en las que nos movemos profesionalmente. Pero seguimos son salirnos del modelo-base de los informes de las plataformas: se trata de documentos que, en el mejor de los casos, sirven como anexos complementarios al informe psicopedagógico. 

Para que pasen formar parte de ese informe es necesario un enfoque y un tipo de análisis que estos modelos no proporcionan. Ni las plataformas ni nuestras alternativas. No hasta y por ahora...

 

Evaluación

Automatización de la evaluación

Procedimiento básico de análisis

Refiriéndome exclusivamente al análisis de los datos de la aplicación de una prueba a un alumno, el sentido más limitado pero también el más frecuente del concepto, quiero referirme ahora a una forma simple pero efectiva de proceder haciendo únicamente uso de funciones Calc.

Sobra decir que esta forma ha sido empleada, no muy frecuentemente, eso es cierto, en los soportes Calc (Excel) primeros, siendo sustituida posteriormente por funciones Filemaker y otras basadas en OOo Basic (o VBA).

Para ejemplificar este modo de proceder tomaré como ejemplo un soporte explicado recientemente: [la escala TDAH].

En este soporte se incluye una hoja en la que se recogen datos de baremos (aquí en Pc), que son usados mediante la fórmula BUSCARV() desde la celda en la que se plantea la automatización de la puntuación normativa. Ambos recursos son necesarios, ya que sin la base de datos no es posible acceder al valor de referencia y sin la función éste únicamente está disponible para ser visualizado por el profesional. 

Y esta es precisamente la alternativa a la que con más frecuencia se recurre (en ese momento y también ahora) dada la complejidad de la documentación estadística de la mayoría de las pruebas normativas (referidas a norma). Es más, la actual tendencia a "sugerir" la corrección on-line no sólo hace más atractivo ese procedimiento, lo hace obligatorio al no aportar algunas editoriales la documentación necesaria para que sea el profesional el que consulte las tablas y realice los cálculos. Pero en otro caso, cuando el volumen de información estadística a manejar es asumible o la podemos reducimos a niveles que entran dentro de esta categoría, están a nuestra disposición estrategias de automatización de esta fase del trabajo con los test, algunas de ellas, como estamos viendo, muy simples y plenamente accesibles. Veamos este caso con un poco mas de detalle.

En la hoja Cuestionario, además de éste (planteamiento de la pregunta y calificación numérica de la respuesta según código establecido), disponemos una tabla de conteo y calificación:

En la primera de sus filas incluimos la función de sumatorio (SUMA(C3;C7;C5;C15;C19)) asociado a los ítem del cuestionario implicados en la categoría (en este caso la PD de H)

En la segunda fila incluimos la función de búsqueda (BUSCARV(D26;$Baremos.$A$4:$F$65;2)) que relaciona el valor de la celda anterior con la tabla de Pc de la hoja Baremos, concretamente con su columna B (2) que es la que contiene los datos de H. Esta función busca el valor de la celda primera en la columna A (PD) y lo relaciona con el valor Pc correspondiente de la columna 2.

En la tercera fila (Riesgo) introduzco un procedimiento de valoración del Pc obtenido mediante condicionales (=SI(D27>94;"RE";SI(D27>85;"RM";"SR")))

Repito este procedimiento, aunque con fines de codificación en al fila inferior de esta tabla (=SI(D28=E28;1;0)), resultado que será de interés para la elaboración del informe de la prueba.

Resumiendo, he expuesto un procedimiento simplificado de puntuar según norma (Pc) y valorar cualitativamente según referencia de nivel de referencia empleando únicamente funciones Calc. Este procedimiento se puede considerar una forma simple de automatizar el análisis de los datos resultantes de la aplicación de una prueba.

Atención

Evaluación

Escala para la detección del TDAH

Uno de los trastornos de mayor incidencia en el alumnado de E. Primaria, al menos en el imaginario de los docentes, es el déficit de Atención. Como tal constituye un trastorno del neurodesarrollo cuya detección corresponde a los servicios médicos especializados, no a los especialistas del ámbito educativo, pero es en este ámbito, junto con el familiar, donde las se puede observar a nivel de conducta, siendo ésta información fundamental para que el clínico (vg. neuropediatra) pueda diagnosticar el trastorno.

De lo dicho en el párrafo anterior derivan varias cuestiones que son de interés a nivel de intervención educativa y de los SEO:

• Que la casa y la escuela son ámbitos claves para que se manifieste ese trastorno, pero también para que se observen conductas que pueden confundirse con él.
• Que se trata de un trastorno del neurodesarrollo con repercusiones en la conducta y en el aprendizaje, pero cuyo diagnóstico no corresponde a los profesionales del ámbito educativo, incluyendo a los OE. Únicamente compete a los profesionales de la Salud, que son quienes pueden establecer este diagnóstico y plantear las líneas de intervención y tratamiento farmacológico y conductual. Pero no el educativo.
• Que ese tratamiento educativo se realiza en el marco de su consideración como causa de NEAE, concretamente por Trastorno del neurodesarrollo (OTRAS-TDAH), que se caracteriza por la existencia de un patrón persistente de dificultades de atención e hiperactividad que interfieren en la adquisición de logros en el aprendizaje.

Dicho esto para delimitar responsabilidades y competencias, resulta evidente que se impone la colaboración entre profesionales y servicios. Esta colaboración, en lo que a la detección se refiere, puede concretarse de muchas formas, siendo una de ellas la de aportar al clínico información ajustada en forma y procedimiento.

Una herramienta que cumple esos requisitos y que, por ello, puede ser de utilidad es la escala EDAH...

... que puede servir para acompañar una petición de valoración al Pediatra-AP. En función de lo que éste determine caben otras colaboraciones, pero esta sencilla escala aporta una primera información que se ajusta a la observación de la problemática comportamental nuclear del trastorno. 

Además permite combinar la información observacional del medio familiar y con la del medio escolar, lo cual resulta fundamental para correcta detección del déficit en función de la observación o no de coincidencias vs. divergencias entre los adultos de ambos contextos.

Se trata de un sencillo cuestionario que por su simplicidad y fiabilidad ha sido ampliamente utilizado en la detección del TADH. Si bien es un instrumento un tanto antiguo ya (la edición que manejo es de 2013 y el recurso original data de 1997), esto no le resta interés y le aporta consolidación, especialmente para la finalidad de uso que planteo aquí.

En este contexto, y con estas limitaciones te presento un documento basado en Calc que se puede emplear para digitalizar el uso del instrumento. Como en otros casos se trata de una primera aportación que puede ir seguida de otras formulaciones de mayor complejidad técnica, aunque no necesariamente, dadas las limitaciones de los objetivos que se pretenden con este instrumento.

Este soporte consta de cuatro hojas: Id, Cuestionario, Baremos e Informe. En Id se recogen únicamente los datos de identificación...

... siendo Cuestionario el núcleo fundamental del soporte, ya que en donde radica el proceso de recogida de información, como la respuesta del entrevistado.

Respecto a este cuestionario, aunque no he podido asegurar que EDAH siga siendo comercializado por  TEA o por otra empresa, por motivos de derechos de autor he tenido que eliminar el cuestionario propiamente dicho, aunque el funcionamiento del soporte no queda alterado.

Este cuestionario está a disposición de los usuarios en los materiales originales de la prueba, la cual es común en los SEO. Aunque no es estrictamente necesario, puedes incluirlo en la columna reservada a tal fin.

Posteriormente se valoran automáticamente las respuestas mediante sumatorios (=SUMA(C3;C7;C5;C15;C19)) y usando la fórmula (=BUSCARV(D26;$Baremos.$A$4:$F$65;2)) para acceder a los datos de Baremos. 

A partir de estos datos se elabora, también automáticamente, un sencillo informe que se recoge en la hoja final del soporte (vg. =CONCATENAR($ID.C4;" ha sido ";SI($ID.E5="V";"evaluado";"evaluada");" empleando esta escala al presentar, a juicio de su tutora, ";$ID.C7;". Al cuestionario a contestado su ";$ID.F4;".")).

A pesar de la simplicidad del recurso, el interés que tiene aportarlo en el blog es doble: 

• Por un lado está la utilidad que tiene como herramienta para colaborar con los servicios especializados en la detección del TDAH, interés este moderado ya que hoy en día no se la puede considerar una herramienta actualizada, pero suficiente para fines de colaboración en la fase inicial del proceso de detección. En fases posteriores será el especialista el que, en su caso, determine cómo se puede concretar nuestra colaboración.
• Por otro porque a pesar de la simplicidad del soporte Calc apreciamos en él un nivel de automatización doblemente interesante, aunque básico: el que afecta a la automatización del análisis de los datos recurriendo a la tabla-baremo mediante la función BUSCARV() y el que implica la creación del informe de resultados, mediante el uso combinado de diferentes funciones, empezando por el trabajo con cadenas (CONCATENAR()).

Documento. [Enlace para descarga]

Evaluación.

Automatización de la evaluación

Informe de resultados

Para terminar este recorrido por el proceso de automatización de las pruebas de evaluación nos resta hablar de la creación del informe de resultados. 

Lo que pasa es que, aunque este informe es casi de obligado cumplimiento para los sistemas de corrección del test, sean éstos on-line o software específico y complementario de la prueba (al estilo Tipi-Soft que tanto se prodigó en los inicios de la informatización de los test, al menos en España, editorial Albor-Cohs), para los SEO ni es necesario ni es suficiente. Y no es lo primero por no ser lo segundo. Me explico y explico las consecuencias.

El uso de un test como parte de un proceso de evaluación psicopedagógica es sólo eso: una parte (a veces mínima) de un proceso mucho más complejo que documentalmente se plasma en un informe que poco tiene que ver con el informe de resultados del que ahora hablamos. Fundamentalmente porque este tipo de informe sólo informa (valga la redundancia) de unos resultados necesariamente muy parciales. 

No en el test en abstracto e individualmente considerado donde radica el interés de los resultados que con él se obtienen, sino en la comparación de estos resultados con otros recogidos de la aplicación de otros test, o de otras fuentes, muy diversas.

En consecuencia, el informe de resultados de un test (o de una batería de test) expuesto aisladamente, al margen del contexto que genera el resto de los datos obtenidos o del marco hipotético que le da sentido, es posible que no sea  irrelevante, sino contraproducente. De ahí el riesgo de presentar datos sin más, sin analizarlos en función de las referencias que considere el profesional. De ahí, en definitiva, el riesgo que conlleva el actual interés de la Administración por la brevedad y la mera constatación del cumplimiento formal del proceso. Pero esta es otra cuestión.

La que aquí interesa es aquella que explica por qué la automatización del informe de resultados ha tenido tan escaso desarrollo, aunque cierto es que sólo este informe traslada al técnico el resultado del análisis de los datos cuando ésta fase ha sido automatizada. Es la limitación del desarrollo de esa fase previa la que hace posible que no se observen contradicciones entre el desarrollo de una fase y no de la siguiente y consecuente.

Pero es que caben diferentes fórmulas para enfocar la automatización del procedimiento en su conjunto (además de resolverlas mediante el expediente de hacerlo parcialmente, que no es una mala opción):

• Realizar informes meramente descriptivos, de uso a modo de fuentes de información, correspondiendo al profesional la ulterior y realmente significativa interpretación de los resultados.
• O que cada profesional (o colectivamente) plantee, como contenido de esos informes, formulaciones interpretativas relevantes y significativas, ajustadas a sus planteamientos teóricos, a sus hipótesis y a su experiencia.

Ambas soluciones son posibles, cada una con sus dificultades y limitaciones, que no son pocas. Y a esto se añade que realmente sólo están disponibles (ambas) para aquellos profesionales que, además de serlo en lo que se supone que lo son, también se interesan por adquirir los conocimientos que hacen posible la informatización de los procedimientos de trabajo.

Por todo ello, son muchas las cuestiones que quedan por resolver, aunque algunas se pueden considerar satisfactoriamente encaminadas. De hecho algunos DocAp incluyen modelos simples de informes automatizados, al estilo de los de las plataformas; aunque muchos más modestos en lo formal y gráfico, no menos útiles en cuanto al contenido. Pero son pocos los DocAp que han llegado a este nivel de automatización.

Además aun quedan por abordar, si no aun por plantear, otras como la de compaginar la automatización de las pruebas con la semi-automatizar el informe psicopedagógico.

Cierto que no es ésta la sección del blog donde deberemos resolver esta cuestión, pero sí debemos estar atentos para facilitar que esa meta sea alcanzable. Donde corresponda. 

Evaluación.

Automatización de la evaluación

Análisis de datos

Hablar del análisis de datos es hacerlo de tres realidades diferentes, aunque interrelacionadas: 

• Del análisis de los datos contenidos en la documentación técnica del test.
• De los datos recopilados en la aplicación de la prueba, incluyendo los resultantes del interés por la construcción de baremos locales (de sector o de centro)
• Y de los datos resultantes de la aplicación individual del test a un alumno concreto dentro del proceso de evaluación psicopedagógica.

Mientras que los dos primeros implican el uso de herramientas de análisis que van desde las funciones Calc hasta el uso de script y bibliotecas específicas, siempre a modo de instrumentos facilitadores del análisis, sólo la tercera es susceptible de automatización en el mismo sentido que hemos hablado de automatización en las fases previas del proceso.

También aquí las primeras formas se han basado en fórmulas y funciones Calc o en funcionalidades equivalentes, pero los resultados sólo han podido ser parciales. No ha sido hasta el desarrollo de script (en OOo Basic, pero no sólo) que dicha automatización se puede considerar una opción viable... y aun así con dificultades que en estos momentos no puedo considerar plena y satisfactoriamente superadas. 

Mientras vamos mejorando, nos conformamos con resultados parcialmente satisfactorios. Otros no han conseguido mucho más, aun contando con muchos más recursos y conocimientos. Para muestra, aunque expresados como informes, el análisis de datos que subyace en los modelos de informe que emiten los sistemas de corrección de las editoriales.

Hago esta reflexión por dos motivos:

• Para remarcar las limitaciones que estos informes presentan, las cuales son debidas en lo fundamental a las limitaciones de los análisis de datos que realizan... o que se atreven a realizar, que es otra cuestión, aunque el resultado sea el mismo.
• Y para establecer la íntima relación que existe entre la automatización de la corrección del test, el análisis de los resultados obtenidos y la elaboración de un informe de resultados.

De hecho, en la práctica, es el informe el que visualiza el resultado del análisis de los datos... y sus limitaciones. Hablemos entonces de ese informe.

Evaluación.

Automatización de la evaluación

Corrección del test

La aplicación de la prueba no es la única fase que nos interesa automatizar; es más, es posible que ni siquiera interese automatizarla o no merezca la pena el esfuerzo que implica. Pero de lo que sí podemos estar seguros es que sí es posible e interesante automatizar la corrección del test. 

De hecho es la automatización de este subproceso la que mayor interés despierta en las editoriales. Al menos así es para algunas que ofrecen servicios de corrección on-line que asocian a la adquisición de los cuadernillo (doble negocio) y llegan a omitir los datos que permitirían lo corrección y/o la puntuación de la prueba para forzar al uso de sus servicios de corrección. Una práctica totalmente legal, por lo visto, pero moralmente más que cuestionable, pienso. 

Es cierto que estas plataformas de corrección ofrecen un servicio que va más allá de la mera corrección de la prueba, incluyendo la valoración de los resultados y la devolución de un informe técnico-descriptivo de los mismos. De paso la empresa, si así lo desea, puede recopilar gratuitamente los datos que precisa para mejorar la baremación de la prueba, ahorrándose los gastos correspondientes.

Dejando estas cuestiones al margen y volviendo a lo que nos interesa, decir que automatizar la corrección de una prueba puede realizarse mediante el servicio Calc sin necesidad de emplear script OOo Basic. Para las formas más básicas de corrección, puede ser suficiente con las funciones que incorpora la propia hoja de cálculo. 

De hecho, de este modo se han construido muchos soportes de digitalización de la evaluación, sin ser conscientes de estar avanzando en la automatización de la prueba. Esta automatización es necesariamente parcial, pero real. Por ese motivo el tratamiento de muchos de los recursos de evaluación que presento en las secciones correspondientes del blog se inicia con esos soportes Calc.

No obstante, para realizar el análisis de datos (la fase  siguiente en este proceso hacia la automatización) es necesario algo más que las funciones Calc, lo que lleva a la creación de código. Y una vez "metidos en harina", resolver la corrección de la prueba mediante script puede resultar más lógico y hasta más sencillo que hacerlo mediante funciones Calc. También contribuyen a ello los distintos tipos de ítem. 

Quien dice programar en OOo Basic dice también hacerlo en otros lenguajes. Python es una buena alternativa.

Evaluación.

Automatización de la evaluación

Aplicación de la prueba

No se trata sólo de empezar por el principio, también pretendo sistematizar los distintos momentos y subprocesos que se pueden diferenciar en el proceso de implementación de una prueba, recurso o test de evaluación y, consecuentemente, identificar (y diferenciar) los diferentes subprocesos o fases en que se concreta la automatización de la evaluación.

Lo lógico, me parece a mi, es empezar por la presentación de los materiales para que el alumno resuelva la o las tareas que se le proponen, lo que no es otra cosa que la aplicación de la prueba, que también incluye las instrucciones y todo lo relativo a la explicación de cómo se espera que se desarrolle el proceso, tarea ésta que corresponde al examinador (el OE en nuestro caso).

Cierto es que existen diferentes tipos de pruebas, también por el modo en que se presentan qué tipo de inputs y se esperan del alumno qué tipo de respuestas. En función de todo esto tenderemos también diferentes niveles y modos de automatizar, e incluso de que esta automatización sea innecesaria.

La forma más compleja de automatización, pero también la más sencilla de implementar por estar bien acotada, es aquella de ítem de elección múltiple en la que el alumno debe seleccionar una imagen entre varias en respuesta a una demanda del examinador. Pero no es la única.

Verdad que no es la única, pero sí la que nos puede servir para ilustrar en qué consiste la automatización en este punto de su desarrollo; y hacerlo de forma muy concreta y precisa, hasta el punto que podemos decir que el resto de los procedimientos no son otra cosa que expresiones diferentes (y normalmente más simples) de este modelo. Veremos algunas de estas variantes, pero antes nos centraremos en cómo implementar ésta que hemos considerado prototípica.

La automatización de la aplicación de una prueba de evaluación tal y como la he concretado antes tiene un precedente ajeno a la automatización propiamente dicha, pero en línea con la digitalización de las pruebas de evaluación. Me refiero al uso de presentaciones tipo pptx que contienen las láminas para mostrar al niño  y que, al igual que con las de papel, seleccionar la que corresponda, 1 entre 4, normalmente.

El siguiente paso ya hace posible la automatización de la aplicación de la prueba y se basa en implementar macros o código (vg. VBA o OOo Basic), estableciendo alguna forma de interacción del niño con los comandos incorporados el soporte, incluyendo su uso sobre la imagen. Esto también tiene un precedente en el uso de las presentaciones y los mecanismos de interacción que incorporan, pero este precedente no permite interacciones como las que se requieren para automatizar la aplicación de la prueba, aunque aparenten ser similares.

Una alternativa al uso de las presentaciones es emplear hojas de cálculo, dado que admiten el uso interactivo de imágenes, la recogida de datos en sus celdas y la incorporación de script para la gestión del soporte. Un ejemplo de ello lo tenemos en las posibilidades que presentan los documentos Calc y la construcción de DocAp basados en ellas. 

Ciertamente no son la única solución, pero sí una de las más sencillas, generalizables y sostenibles. La sencillez viene dada por las tres características explicadas en el párrafo anterior. Las otras dos cualidades derivan de que ese uso está al alcance de cualquier profesional que muestre interés por crear este tipo de recursos.

Textos. Python

Aplicación práctica

Extracción de texto a partir de imágenes

Presento en esta entrada la primera aplicación práctica de los procedimientos tratados en esta subsección relativa al trabajo con textos mediante Python. Primero nos situaremos en contexto, después mostraré el script y finalmente lo explicaré.

Me planteo crear una aplicación que facilite la evaluación del grado de adquisición del sistema fonológico. Para ello selecciono la prueba PLON-R Fonología y necesito estudiar su fundamentación teórica, por lo que accedo a su manual. Dado que se ese manual es un documento en papel, caben dos opciones: copiar manualmente la información que considere necesaria o capturarla en imágenes (vg. en png).

Dado que la primera opción lleva cierto tiempo, opto por la segunda, pero para acceder al contenido necesito convertir esas imágenes en texto. Para ello creo un directorio (Textos) donde copio las imágenes ordenadas según la lógica de su contenido y creo un script Python para acceder al texto que contienen las imágenes.

import os

import pytesseract

from PIL import Image

#Ruta a Tesseract

pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'

'''

Acceder al listado de documentos png del directorio Textos

'''

lista_img = []

#Listado imágenes . Acceso al directorio

directorio = 'Textos/'

os.chdir(directorio)

lista_archivos = os.listdir('.')

for elemento in lista_archivos:

    lista_img.append(elemento)

'''

Acceder a las imágenes para extraer el texto y copiarlo en documento txt

'''

for elemento in lista_img:

    img = Image.open(elemento)

    # Extraer texto

    texto = pytesseract.image_to_string(img, lang ='spa')

    #Escribir el texto en el archivo .txt

    archivo = open('plon_fono.txt','a', encoding='utf-8')

    archivo.write(texto+'\n')

    archivo.close()

Explico a continuación este script que, como puedes ver, requiere trabajar con tres bibliotecas Python:

• os (import os) para generar el listado del contenido del directorio Textos y automatizar el acceso a esos documentos (imágenes png)
• Pillow (from PIL import Image) para acceder a cada una de las imágenes
• Pytesseract (import pytesseract) para trabajar con el programa OCR Tesseract.

En primer lugar establecemos la ruta para acceder al programa OCR (pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files\Tesseract-OCR\tesseract.exe'), paso necesario para el procesamiento OCR de las imágenes.

En segundo lugar accedemos al directorio Textos mediante las funciones os y listamos los archivos que contiene como textos para su posterior uso en el bucle de acceso a las imágenes.

Para ello identificamos el directorio (directorio = 'Textos/') y nos ubicamos en él (os.chdir(directorio)) para extraer su contenido (lista_archivos = os.listdir('.')) y pasarlo a una lista (lista_img = []) de string mediante la función append() (lista_img.append(elemento)) dentro de un bucle que recorre el contenido del directorio (for elemento in lista_archivos:). Sobre esa lista de nombres de archivos desarrollaremos la segunda parte del script.

Dicha segunda parte consiste en recorrer los archivos, acceder a su contenido y convertirlo en texto mediante procedimiento OCR. Todo ello se desarrolla dentro de un segundo bucle for (for elemento in lista_img:) que accede secuencialmente a cada imagen usando la librería Pillow (img = Image.open(elemento)) que pasa la imagen la función image_to_string() de la biblioteca pytesseract (que conecta con el programa OCR Tesseract (texto = pytesseract.image_to_string(img, lang ='spa')) que convierte el contenido de la imagen en un texto editable.

Simultáneamente, en el mismo bucle, se desarrolla la tercera fase que consiste en aplicar las funciones de creación, escritura y cierre de documentos externos txt con que cuenta Python.

Esta parte del script repite cíclicamente el proceso de crear/acceder al documento txt (archivo = open('plon_fono.txt','a', encoding='utf-8')) y escribir el contenido obtenido mediante el procedimiento identificado como segunda parte del script...

(texto = pytesseract.image_to_string(img, lang ='spa')) -> (archivo.write(texto+'\n'))

... y finaliza, ya fuera del bucle, con el cierre del documento (archivo.close()).

El resultado de la aplicación de este script es un documento txt, un tanto "desmadejado" para perfectamente útil para incorporar el contenido de esos documentos obtenidos inicialmente como imágenes a nuestro análisis del documento.

Documentos. A efectos de facilitarte el acceso al resultado y la réplica de esta práctica de dejo a continuación algunos materiales que deberás descargar desde este enlace: textos_imagenes y descomprimirlo. Contiene la carpeta Textos, que a su vez contiene unas imágenes y el documento txt resultante (plon_fono.txt), y el script textos_plon.py.