LLM y la motivación de las decisiones
Los límites de la IA
En la entrada anterior analicé uno de los principales condicionantes jurídicos del uso profesional de los modelos de inteligencia artificial generativa: la confidencialidad de la información que se introduce en ellos y la responsabilidad compartida de los diferentes actores implicados en su utilización.
Existe, sin embargo, un segundo límite, menos conocido pero probablemente más profundo, que afecta al modo en que el sistema genera sus respuestas. Se trata de la imposibilidad de explicar realmente por qué produce una determinada respuesta y no otra.
No es una limitación circunstancial ni una carencia que pueda corregirse mediante una simple actualización del sistema. Es una consecuencia directa de la arquitectura de los grandes modelos de lenguaje (Large Language Models o LLM) basados en técnicas de aprendizaje profundo (Deep Learning). Precisamente por ello, constituye un factor tanto técnico como jurídico que condiciona su utilización en cualquier ámbito en el que las decisiones deban ser motivadas.
La motivación de las decisiones. Una exigencia profesional y una obligación jurídica
Antes de constituir una obligación jurídica, la motivación de las decisiones es una exigencia inherente al ejercicio profesional del orientador educativo. Toda actuación técnica que pueda afectar a otras personas debe poder explicarse mediante razones objetivas, comprensibles y vinculadas al conocimiento especializado del que deriva. Motivar una decisión significa hacer explícitos los datos considerados, los criterios aplicados y el razonamiento que conduce desde unos a la conclusión adoptada.
Esta exigencia cumple varias funciones esenciales. Permite revisar la solidez del propio razonamiento, facilita el trabajo cooperativo entre iguales —por ejemplo, entre orientadores—, así como el intercambio y contraste de información con profesionales de otras especialidades; favorece la coherencia entre casos similares y hace posible que las personas afectadas comprendan el fundamento de las decisiones que les conciernen.
Sin esta capacidad de justificar y someter a revisión las decisiones adoptadas, el juicio profesional pierde transparencia y se debilitan las garantías de calidad, responsabilidad y control que caracterizan el ejercicio de cualquier profesión técnica, especialmente cuando sus actuaciones producen efectos sobre otras personas.
Esta exigencia, inherente al ejercicio responsable de cualquier profesión, adquiere una especial relevancia cuando las decisiones se adoptan en el marco de procedimientos sujetos al Derecho. En estos casos, la motivación deja de ser únicamente un criterio de calidad técnica para convertirse también en una exigencia jurídica destinada a garantizar la legalidad de la actuación, la protección de los derechos de las personas afectadas y la posibilidad de su control y revisión.
En el ámbito del Derecho no basta con decidir correctamente; es necesario poder explicar por qué se ha decidido de una determinada manera.
La exigencia de motivación constituye uno de los pilares del Estado de Derecho. En el ámbito administrativo encuentra una manifestación expresa en el artículo 35 de la Ley 39/2015, de 1 de octubre, del Procedimiento Administrativo Común de las Administraciones Públicas, que impone la obligación de motivar determinados actos administrativos mediante una sucinta referencia a los hechos y a los fundamentos de Derecho que los sustentan.
La motivación permite comprobar que la actuación administrativa responde a criterios jurídicos y racionales, facilita el ejercicio efectivo del derecho de defensa y hace posible su control por los órganos administrativos y judiciales. Constituye, además, una garantía esencial frente a la arbitrariedad de los poderes públicos, cuya interdicción proclama el artículo 9.3 de la Constitución Española.
Esta exigencia trasciende el Derecho español. En el ámbito de la Unión Europea, el deber de motivar las decisiones constituye una manifestación del derecho a una buena administración reconocido por el artículo 41 de la Carta de los Derechos Fundamentales de la Unión Europea, que exige que las actuaciones de las instituciones públicas puedan justificarse mediante razones comprensibles y susceptibles de control.
La misma lógica inspira la normativa europea sobre protección de datos personales. El Reglamento General de Protección de Datos (RGPD) impone obligaciones de transparencia en el tratamiento de la información y reconoce garantías específicas frente a determinadas decisiones automatizadas, incluyendo el derecho de la persona afectada a obtener información significativa sobre la lógica aplicada cuando concurren los presupuestos del artículo 22. Aunque el alcance de este denominado «derecho a la explicación» continúa siendo objeto de debate doctrinal, resulta indiscutible que el Reglamento refuerza las exigencias de transparencia y control sobre los procesos automatizados.
En esta misma línea, el Reglamento (UE) 2024/1689, de Inteligencia Artificial, establece obligaciones de documentación técnica, trazabilidad, transparencia y supervisión humana para los sistemas de IA de alto riesgo. Estas medidas pretenden garantizar que quienes los utilizan comprendan sus capacidades y limitaciones, puedan interpretar adecuadamente sus resultados y mantengan en todo momento el control sobre las decisiones adoptadas. El Reglamento no presupone que estos sistemas sean capaces de explicar por sí mismos el proceso interno que conduce a sus resultados; por ello, desplaza las garantías hacia la documentación, la trazabilidad y la supervisión humana, sin sustituir la obligación de motivar las decisiones cuando esta resulta exigible conforme al ordenamiento jurídico.
En el ámbito educativo, estas exigencias se proyectan sobre numerosas decisiones que afectan directamente a los alumnos: evaluaciones, promociones de curso, medidas disciplinarias, adaptaciones curriculares, identificación de necesidades específicas de apoyo educativo o adopción de medidas organizativas individualizadas. En todos estos supuestos no basta con alcanzar una conclusión; resulta imprescindible justificarla mediante criterios objetivos, verificables y susceptibles de revisión.
En definitiva, tanto el Derecho español como el europeo parten de un mismo principio: la legitimidad de una decisión no depende únicamente de su corrección material, sino también de la posibilidad de explicar las razones que la fundamentan y de someterlas al escrutinio de quienes puedan revisarlas o verse afectados por ellas.
Lo que hace realmente un modelo de lenguaje
Aquí aparece la principal dificultad.
Es precisamente en este punto donde aparecen los límites de los grandes modelos de lenguaje. Si el ordenamiento exige que determinadas decisiones puedan justificarse mediante razones objetivas y revisables, resulta necesario preguntarse si un sistema de IA generativa puede proporcionar realmente esa justificación.
Con frecuencia se afirma que un chatbot «explica» sus respuestas. En realidad, lo que hace es algo muy distinto.
Los modelos de lenguaje actuales no razonan reconstruyendo una cadena lógica de inferencias semejante a la que seguiría un jurista, un médico o un docente. Tampoco almacenan una relación explícita entre premisas y conclusiones que pueda recuperarse posteriormente para explicar cómo alcanzaron un determinado resultado.
Su funcionamiento responde a una lógica completamente diferente.
Durante el entrenamiento, el modelo ajusta miles de millones —e incluso billones— de parámetros mediante técnicas de optimización matemática destinadas a minimizar el error en la predicción del siguiente elemento de una secuencia lingüística. Ese conocimiento no queda almacenado como reglas identificables ni como argumentos jurídicos o científicos, sino distribuido estadísticamente a través del conjunto de los parámetros de la red neuronal.
Cuando el usuario formula una consulta, el modelo no recupera un razonamiento previamente elaborado ni una cadena de inferencias almacenada. Genera la respuesta calculando, paso a paso, el token con mayor probabilidad de aparecer en cada posición del texto a partir del contexto recibido. Cada predicción condiciona la siguiente hasta completar una respuesta que puede resultar coherente y convincente, pero cuyo proceso de generación no equivale a un razonamiento explícito susceptible de reconstrucción posterior.
El resultado puede ser útil. Puede ser correcto. Puede incluso presentar una argumentación perfectamente estructurada. Sin embargo, esa argumentación no constituye el razonamiento interno que condujo al modelo hasta la respuesta, porque ese razonamiento no existe como una secuencia explícita de inferencias. Cuando se le pide que explique por qué respondió de una determinada manera, el modelo no recupera el proceso que siguió para llegar a esa conclusión; genera una nueva explicación mediante el mismo mecanismo probabilístico con el que produjo la respuesta original.
Esta limitación no significa que los modelos de lenguaje sean completamente opacos para la investigación científica. Existen diversas técnicas de interpretabilidad que permiten analizar determinados aspectos de su funcionamiento interno o estimar la influencia de distintos elementos en la generación de las respuestas. Sin embargo, estos métodos no reconstruyen una cadena de razonamientos comparable a la motivación exigida en el ámbito profesional o jurídico. Ofrecen información sobre el comportamiento estadístico del modelo, no sobre las razones que justificarían una decisión.
Una limitación técnica con consecuencias jurídicas
Esta limitación técnica no constituye un simple inconveniente funcional. Delimita el ámbito en el que los modelos de lenguaje pueden utilizarse legítimamente cuando las decisiones deben ser motivadas.
Si un procedimiento exige que las decisiones puedan justificarse mediante razones objetivas, verificables y revisables, la utilización de una herramienta incapaz de ofrecer esa justificación no impide necesariamente su empleo, pero sí condiciona el modo en que puede integrarse en el proceso de decisión y las garantías que deben acompañar su utilización.]
Ello afecta, en primer lugar, a las empresas que desarrollan y comercializan estos sistemas. Quienes ofrecen soluciones basadas en modelos generativos para sectores regulados no pueden presentar estos sistemas como capaces de sustituir el juicio profesional cuando el ordenamiento exige decisiones motivadas y susceptibles de revisión. Las obligaciones de transparencia, gestión del riesgo e información previstas por el Reglamento europeo de Inteligencia Artificial adquieren precisamente sentido frente a estas limitaciones estructurales.
Pero la consecuencia más importante recae sobre el profesional.
El juicio que no puede delegarse
Al igual que ocurría con la confidencialidad, el problema ya no reside únicamente en las limitaciones del modelo. Desde la perspectiva del juicio profesional —y, por ello, también desde la jurídica— la cuestión decisiva es la decisión de utilizar una herramienta cuyas limitaciones el profesional conoce, o debe conocer, y de integrar sus resultados en el propio proceso de decisión.
Si un docente, un inspector, un orientador, un abogado o cualquier otro profesional adopta una recomendación elaborada por un modelo generativo sin reconstruir y verificar por sí mismo las razones que justifican su utilización en el caso concreto, el problema deja de ser una limitación tecnológica para convertirse en una deficiencia del propio juicio profesional.
En consecuencia, la motivación de una evaluación, un informe psicopedagógico, una medida disciplinaria o una resolución administrativa no puede descansar únicamente en una argumentación generada por un modelo de inteligencia artificial. Corresponde al profesional comprobar su corrección, asumirla como propia y poder justificarla mediante razones objetivas, verificables y susceptibles de revisión.
La IA puede servir como instrumento de apoyo para localizar información, sugerir argumentos, identificar normativa aplicable o explorar hipótesis. Lo que no puede hacer es sustituir la responsabilidad intelectual de quien debe seleccionar esos argumentos, verificar su corrección y asumirlos como propios.
La utilización de modelos de lenguaje puede constituir un valioso instrumento de apoyo para el ejercicio profesional. Sin embargo, allí donde el ordenamiento exige decisiones motivadas, objetivamente justificables y susceptibles de revisión, la responsabilidad de aportar esa motivación continúa correspondiendo íntegramente al profesional. Precisamente porque el modelo no puede ofrecerla por sí mismo, el juicio profesional deja de ser un elemento complementario para convertirse en una garantía jurídica insustituible.
La motivación no constituye un requisito adicional que deba añadirse al resultado generado por un modelo de lenguaje. Constituye un acto propio del juicio profesional y, precisamente por ello, una responsabilidad que no puede ser objeto de delegación. En ello reside uno de los criterios fundamentales para el uso profesional de la inteligencia artificial: cuanto mayor sea la exigencia de motivar una decisión, más irrenunciable resulta el juicio del profesional que la adopta.
