Evaluación

Automatización de la evaluación

Informe automatizado del test

También hemos contemplado la posibilidad de [automatizar el informe] de la prueba, en base a la del análisis de los resultados. Este fase del proceso de automatización presenta más dificultades de las aparentes, ya que incluso habiéndolo logrado podemos estar muy lejos de nuestro objetivo. Buen ejemplo de ello es el exitoso fracaso de los informes que ofrecen las plataformas de corrección automatizada.

En efecto, estos informes nos pueden servir de modelo para pensar en los procedimientos de los que nos podemos servir para construir nuestros propios modelos de informe de test, si es que esto tiene sentido, cuestión que cada uno deberá plantearse, pero lo que no ofrece duda es que saber automatizar la generación del informe de la prueba es un conocimiento que incrementa la autonomía del profesional.

Tampoco me parece a mí que sea dudoso que conocer el enfoque empleado por esas plataformas de corrección es un buen enfoque de abordaje de la cuestión. Para lo bueno y para lo malo.

Para este análisis me basaré en las soluciones que aplica la editorial TEA, que es una de las que más interés ha mostrado por ofrecer una plataforma de corrección automática, incorporando la generación de informes de resultados como servicio. Un buen negocio para la editorial, por otra parte.

No trato aquí de realizar un análisis exhaustivo de estos modelo, así que es posible que se queden unas cuantas cosas en el tintero. Digamos que tan sólo es ésta una primera aproximación a lo que bien podría merecer un análisis más detallado, prolijo y mejor fundamentado. Eso sí, el que aquí vas a encontrar es  suficiente y útil para mis objetivos actuales.

Invariablemente la plataforma inicia el informe mostrando los datos de identificación...

... en un pulcro y estético formulario al que no hay nada que objetar y sí mucho del que aprender: en términos de automatización es absolutamente impecable en cuanto a aprovechamiento de la información aportada por el examinador que aquí debemos entender como alimentación de la base de datos del sistema. Mucho deberemos aprender al respecto, especialmente nuestra Administración, en lo que a cumplimentación de documentos prescriptivos se refiere.

La segunda también invariable parte del proceso es la presentación del perfil gráfico y cuantitativo de los resultados...

... en la que caben diferentes (aunque limitadas) opciones; una la que muestra la imagen precedente, la forma más sencilla; otra la que muestra la imagen que sigue, más sofisticada...

... pero en ambos casos se aprecia la correcta relación entre datos numéricos y representación gráfica simple, ilustrativa y acorde con la finalidad pretendida: hacer más comprensibles los resultados mediante su visualización.

La menos en estos momentos estamos muy lejos de poder aportar algo parecido, pero sí lo fundamental: el resumen de los datos que sirven para la construcción de los gráficos, los cuales también pueden estar presentes en nuestros modelos de informe automatizados, aunque o bien de forma mucho más simplificada o bien con un alto coste de ejecución, de modo que difícilmente se puede considerar que merezca la pena en términos de coste (esfuerzo) - beneficio.

La tercera parte del modelo TEA Ed. de informe del test es también invariablemente un conjunto textual, pero la estructura y el contenido son muy variables. Van desde una simple nota aclaratoria, como, por ejemplo, el informe del PROLEC-3...

... hasta extensos documentos compuestos por un número importante de páginas (10 e incluso más), aunque lo normal es que sean más breves. 

Estos informes que muestran más desarrollo contienen, en síntesis,  una descripción de la prueba, los resultados del sujeto en referencia a los valores normativos, un análisis valorativo de los mismos en términos de implicaciones respecto al constructo trabajado y/o al funcionamiento del sujeto y, finalmente, algún tipo de observación sobre lo que es relevante para el correcto manejo de los datos por parte del profesional. No todas estas partes tienen por qué estar presenten en el modelo de informe y menos aun tener el mismo peso o la misma extensión. En esto la variabilidad es muy amplia, evidenciando que en si base está un modelo de análisis elaborado por los profesionales que han construido la prueba y no una IA especialmente entrenada para generar estos informes. ALgo que evidentemente se agradece.  

En cuanto a la descripción del contenido de la prueba, en algunos casos ésta se presentan muy detallada, como es el caso del informe de DP-3, que inicia con un detallado texto explicativo de cada una de las escalas que componen la prueba...

... pero en otros es mucho más simple y general, haciendo referencia a la naturaleza y los objetivos del test. Este es el caso de Matrices...

... pero también de DP-3, que tras la presentación de las escalas reproduce un modelo más básico en la exposición del contenido del informe. En realidad PD-3 es muy reiterativo en los contenidos que incluye en su informe, por lo que seguiré en lo que resta el modelo de Matrices, más simple, pero también más claro e ilustrativo.

La segunda parte contiene la exposición de los resultados del sujeto, aquí claramente en comparación con la referencia normativa...

... seguido de las posibles implicaciones funcionales y/o de rendimiento de dichos resultados...

... finalizando con una serie de advertencias para los profesionales que, en caso de incluirse en el informe, se pueden presentar de formas muy diferentes. En este caso...

... como advertencias sobre la interpretación de los resultados. De todas las partes observadas, esta última es posiblemente la de menor interés, por tanto de la que podemos prescindir en la formulación de un modelo automatizado de informe del test. 

El resto de los contenidos del informe son perfectamente asumibles como parte de una propuesta de automatización, aunque sus contenidos, evidentemente, se deberán ajustar a la prueba en cuestión y, más aun, a los objetivos que perseguimos con su uso. 

Ahí es donde radica nuestra principal dificultad, a la que no se deben enfrentar, claro está, los profesionales que diseñaron el modelo de informe para las plataformas de corrección automatizada. Al menos podemos asegurar que nuestros análisis no serán necesariamente inferiores en calidad a los que ellos nos proporcionan, aunque posiblemente sean menos atractivos; por el contrario, es muy probable que se ajusten mejor a nuestro estilo de análisis y a las realidades en las que nos movemos profesionalmente. Pero seguimos son salirnos del modelo-base de los informes de las plataformas: se trata de documentos que, en el mejor de los casos, sirven como anexos complementarios al informe psicopedagógico. 

Para que pasen formar parte de ese informe es necesario un enfoque y un tipo de análisis que estos modelos no proporcionan. Ni las plataformas ni nuestras alternativas. No hasta y por ahora...