Evaluación

Informatización de los recursos de evaluación.

Que la evaluación (psicopedagógica) es parte muy destacada del conjunto de actuaciones de los SEO es una realidad incontestable, aunque no se comparta que dicha actividad deba tener el peso que realmente tiene y se considere que éste sea en realidad una clara manifestación de los problemas de la orientación educativa. La realidad es muy tozuda y resistente a los cambios, y es suficiente con echar una ojeada a la agenda anual de cualquier orientador para comprobar la veracidad de la afirmación con que se inicia esta entrada (1).

Investigar

La informatización del proceso de evaluación es, en consecuencia con lo que deriva de esta realidad, una parte muy importante de la informatización de la intervención de los SEO. Esta informatización afecta a dos procesos básicos en el desarrollo de este tipo de actuaciones: la elaboración de la documentación prescriptiva (2) y la propia intervención de los profesionales, dentro de la cual destaca el uso de recursos de evaluación.

Mientras que la informatización "blanda" o digitalización de la documentación prescriptiva se puede considerar como prácticamente generalizada, su informatización "dura" o automatización es aun un proceso incipiente (3). A ello contribuye el escaso interés que manifiesta (en la práctica) la propia Administración educativa, también el bajo nivel de competencia digital ofimática de los profesionales de los SEO (4), pero no se debe menospreciar lo que deriva de la complejidad del procedimiento que conlleva dicha automatización, e incluso las reticencias que puede suscitar entre los profesionales(5).

Si este es el panorama actual de la informatización de la documentación, el de las pruebas de evaluación es aun menos halagüeño: el monopolio de las editoriales especializadas como proveedoras de recursos junto con las dificultades de los propios SEO para generar los propios (6), hace que todo quede en manos de unos pocos que son quienes toman las decisiones, quienes, a tenor de lo que se observa en el mercado, no parecen decantarse por la informatización de las pruebas. Además cuando lo hacen adopta una forma bastante limitada, limitando a su vez la autonomía de los profesionales, quienes se convierten en colaboradores involuntarios de estas empresas (7).

De todas formas, lo que realmente nos interesa no es pedir algún tipo de compensación por el servicio prestado, sino que los recursos que empleemos en la evaluación no supongan más trabajo del necesario y, a ser posible, que en ellos se aproveche al máximo el potencial que tiene la informatización. También en ello la implicación activa de los profesionales de los SEO conlleva ventajas interesantes, requiriendo, eso sí, un grado de competencia digital superior al que deriva del dominio de las llamadas herramientas de autor.

Por muy prometedor que resulte, lo cierto es que la automatización (informatización) de las pruebas de evaluación es sumamente limitada; y lo es en dos sentidos: son muy pocos los recursos (comercializados o libres) en soporte informático y está escasamente representado en la práctica real el empleo de soportes digitalizados basados en servicios ofimáticos(8).

Podríamos resumir diciendo que queda mucho por andar en esta senda que se presenta, además, bastante compleja y multidireccional. En esta sección del blog trataré de avanzar algo en ella, contemplando varias líneas de trabajo:

• El análisis de mi propia práctica (y algo más). Aunque obviamente no pretendo que sea representativa de la del colectivo, es la que tengo a mano y considero que sí puede ilustrar tendencias que resultan de interés.
• El planteamiento técnico-informático del abordaje del ítem como unidad básica de las pruebas, incluyendo la diversidad de formas en que éste se presenta. Aquí busco aportar soluciones para la aplicación práctica y la creación de recursos.
• La elaboración de propuestas de análisis en función de condiciones de aplicación de las pruebas, incluyendo análisis complementarios de las pruebas comercializadas cuando esto resulte posible y pertinente.
• La creación de un modelo de docap que satisfaga mínimamente los objetivos que se persiguen con el uso de pruebas en el proceso de evaluación.
• La creación de pruebas basadas en ese modelo de docap como aportación y ejemplificación del procedimiento que se defiende.
• Y el análisis de algunas pruebas comercializadas, con especial incidencia en la concreción de propuestas de análisis complementarios y la ejemplificación de dichos análisis cuando esto sea posible y pertinente (9).

Dicho lo anterior, espero ser capaz de cumplir mis propias metas y que lo que te presento te resulte de ayuda. Si te animas a trabajar en esta misma línea y en algo te puedo ayudar quedo a tu disposición.

NOTAS

(1) Si lo que queremos son datos, aunque sean aproximados, el peso de las actuaciones relacionadas en la evaluación psicopedagógica puede alcanzar fácilmente más del 80% del total de actuaciones de un OE de los SEO de E. Primaria.

(2) Entendiendo por tal los soportes documentales de Informe psicopedagógico y Dictamen de escolarización, aunque también otros de menor complejidad. Sobre la informatización de dichos documentos ver las entradas referenciadas en [Documentos], especialmente los bloques Informe psicopedagógico y Dictamen de escolarización.

(3) En realidad deberíamos hablar de semiautomatización, ya que posiblemente no es ni posible ni deseable la completa automatización del informe psicopedagógico. Al menos esa es mi opinión. Considero que los profesionales deben contar con herramientas que les faciliten el trabajo, pero creo que es contraproducente que la elaboración de un documento como es el informe psicopedagógico quede en manos de un algoritmo, incluyendo aquellos que se puedan basar en formas concretas de IA. Partiendo de esto, la elaboración del Dictamen de escolarización y de documentos complementarios (como el de acreditación) sí podrían automatizarse completamente. De hecho las iniciativas que avanza la Administración educativa en cuanto a automatización parecen dirigidos más a "resolver" la parte administrativo-burocrática, pero resultan poco satisfactorios cuando abordan la parte técnico-profesional; es más, se corre el riesgo que se asimilen ambas en detrimento de la segunda, convirtiendo el informe en un dictamen ampliado y poco más. 

(4) Me refiero al escaso dominio de los lenguajes de programación, incluyendo los lenguajes de script incluidos como servicios en los paquetes ofimáticos de mayor uso: M. Office y LibreOffice. En realidad es dominante en el primero, dado que la Administración ha apostado por el software comercial frente al software libre. En este blog se apuesta por este último, como resulta evidente.

(5) La complejidad junto con el escaso mercado que suponen los SEO hace que no parezca ser negocio para las empresas del sector. Las reticencias de los profesionales están doblemente justificadas: tanto por aquellos que entienden que el modelo de intervención de los SEO no debe centrarse en la evaluación psicopedagógica, como por quienes piensan que esta actuación no puede dejarse en manos de las máquinas. Por mi parte entiendo y comparto ambas posturas, pero considero que la semiautomatización es una ayuda de indudable utilidad que no debe ser rechazada a priori. Cuanta mayor implicación desarrollen los profesionales de los SEO más se acercarán los recursos que se generen a las necesidades reales de los profesionales y más lejos quedará el riesgo de que sea la máquina la que decida el resultado y más se ajustará éste al necesario punto de equilibrio entre que pueden aportar los medios informáticos y el respeto a la lógica de la actuación profesional. El desarrollo de la competencia digital de dichos profesionales es parte necesaria de la consecución de este meta.

(6) Entiéndase que no estoy proponiendo renunciar a los test comercializados, aunque considero que la evaluación de los SEO peca en exceso de dependencia respecto a esos productos. La evaluación psicopedagógica no es necesariamente dependiente de los test de aplicación individualizada (que es el producto estrella de las editoriales) ni estos test son la única fuente confiable de obtención de datos relevantes para la intervención. Además de utilizar otros recursos (como la observación participante, el análisis de datos que aporta el profesorado y las familiar, etc.) los propios SEO pueden crear pruebas colectivas e individuales contextualizadas y desarrollar procesos de validación ajustados a criterios técnico-científicos mediante procesos planificados de trabajo en equipo y de colaboración y asesoramiento de la Universidad.

(7) A día de hoy son mayoritarias las pruebas comerciales basadas en medios analógicos. Los materiales complementarios podrían presentarse en formato digital sin mayor problema, pero incluso éstos se venden en formato libro, evidentemente mucho más caro que el formato digital. Por otra parte, cuando una editorial ofrece un medio digital lo hace combinando éste con la exigencia de consumo de material analógico. Lo más limitante para los profesionales es la tendencia de las editorial de proteger su negocio omitiendo de la documentación información clave para el profesional, la cual resulta así opaca. Además, la usar las plataformas on-line los profesionales contribuyen a la mejora del producto sin recompensa de ningún tipo, con lo que se puede decir que trabajan gratis para el propietario real de la prueba.

(8) Entiendo aquí por recursos informatizados aquellos que están diseñados y baremados en soporte informático. Mis conocimientos son un tanto limitados, pero sólo conozco dos: una versión ya antigua del test Raven (Matrices progresivas) y uno que cree yo mismo (Presta atención), ambos de escasa difusión (el segundo por razones obvias, claro). Respecto a la digitalización de pruebas, que no informatización, me consta que en los expedientes SEO son relativamente escasos los recursos de evaluación archivados, y los que están presentan un grado de informatización muy limitado. Esto refleja la escasez de este tipo de medios, lo que es coherente con el predominio de las pruebas comerciales en formato analógico en el arsenal de los recursos a disposición de los SEO. La mayoría de los recursos de evaluación digitalizados basados en servicios ofimáticos lo están en soporte hoja de cálculo, aunque también es frecuente encontrarlos en soporte procesador de texto o como pdf. Los primeros pueden considerarse como base útil para el ulterior desarrollo de recursos informatizados, pero los otros dos no pasan de la mera digitalización y presentan pocas posibilidades de ir más allá.

(9) Por razones obvias, no encontrarás aquí materiales que se puedan considerar atentatorios a los derechos de autor.