LLM y la confidencialidad
Los límites de la IA
En las entradas anteriores hemos analizado qué son los grandes modelos de lenguaje (LLM), cómo funcionan y por qué herramientas como ChatGPT o Gemini pueden convertirse en asistentes para el trabajo docente y del orientador. Su capacidad para redactar documentos, sintetizar información, proponer actividades o facilitar tareas administrativas explica el creciente interés que despiertan.
Sin embargo, como orientadores, antes de incorporar estos asistentes a nuestra práctica profesional conviene que nos formulemos una pregunta: ¿qué ocurre con la información que aportamos en nuestras consultas?. Responder a esta pregunta supone entender las obligaciones que como profesionales tenemos de garantizar la confidencilidad.
Pero con frecuencia esta cuestión no se plantea y sus implicaciones se asumen desde posiciones excesivamente simples. Para unos, basta con confiar en que la empresa que presta el servicio garantiza la seguridad de los datos. Para otros, cualquier utilización de un chatbot comercial constituye, por definición, una vulneración de la confidencialidad. Ninguna de estas posiciones refleja adecuadamente la realidad.
Si plantearse la cuestión implica entender su relevancia, asumir que debemos ser capaces de responderla supone admitir que cierto nivel de conocimiento de causa forma parte de nuestra competencia profesional.
En este punto conviene entender que la formulación del prompt condiciona el procesamiento de la información que enviamos al servicio. Su contenido es tratado por el modelo mediante la misma arquitectura computacional empleada durante el entrenamiento, aunque sin modificar los parámetros del modelo.
El texto del prompt se tokeniza; los tokens se sustituyen por identificadores numéricos que posteriormente se transforman en representaciones vectoriales (embeddings), sobre las que el modelo realiza las operaciones matemáticas que le permiten calcular, de forma sucesiva, cada uno de los tokens que compondrán la respuesta.
La diferencia esencial respecto del entrenamiento es que, durante la interacción con el usuario, ese procesamiento no actualiza los parámetros del modelo y, por tanto, no produce aprendizaje, sino únicamente la generación de una respuesta a partir del contexto proporcionado por el prompt.
Todo ello explica que la confidencialidad en el uso de la inteligencia artificial no dependa únicamente del modelo de lenguaje empleado ni del profesional que decide utilizarlo. Desde un punto de vista técnico, es el resultado de una cadena causal en la que intervienen la configuración del servicio, la política de tratamiento de datos de la empresa que lo explota, las medidas organizativas adoptadas por la administración educativa y las decisiones adoptadas por el profesional en su utilización.
Sobre esta cadena causal se articulan, en un plano diferente, la responsabilidad profesional —moral, deontológica y técnica— derivada del uso de la herramienta, así como las distintas responsabilidades jurídicas que el ordenamiento atribuye a cada uno de los sujetos implicados en función de su intervención en el tratamiento de los datos.
El problema no es el modelo, sino el servicio
Retomando la explicación técnica del tratamiento del prompt, analizaremos ahora las responsabilidades que corresponden a la empresa que presta el servicio de IA. En particular, nos centraremos en las decisiones de carácter técnico que adopta al configurar el servicio y que condicionan el tratamiento de la información proporcionada por los usuarios.
Hemos comprobado que el principal riesgo para la confidencialidad no deriva del funcionamiento interno del modelo ni del modo en que procesa la información contenida en el prompt. Ese riesgo se sitúa, fundamentalmente, en la forma en que el servicio gestiona la información que recibe. Dicho de otro modo, el tratamiento de los datos personales viene determinado por la arquitectura técnica que rodea al modelo: dónde se procesan los datos, durante cuánto tiempo se conservan, quién puede acceder a ellos, cómo se protegen y en qué condiciones pueden eliminarse o reutilizarse. Esta arquitectura responde a un conjunto de decisiones de diseño propias de servicios concebidos para un uso general, no para entornos profesionales sometidos a exigencias específicas de confidencialidad y protección de datos.
En consecuencia, cuando utilizamos un chatbot comercial no interactuamos únicamente con un modelo de lenguaje; utilizamos un servicio diseñado, gestionado y comercializado por una empresa. Es esa empresa la que configura las políticas de tratamiento y conservación de los datos dentro del marco normativo aplicable, establece las condiciones de uso, ofrece determinadas garantías contractuales y decide cómo integra el modelo dentro de un producto concreto.
La pregunta relevante deja así de ser únicamente «¿qué modelo utiliza esta aplicación?» para convertirse en otra más importante: «¿qué servicio estoy utilizando y qué garantías ofrece para el tratamiento de la información?»
La responsabilidad también alcanza al proveedor
Durante años fue habitual considerar que muchas plataformas digitales actuaban como meros intermediarios tecnológicos. La inteligencia artificial generativa está modificando progresivamente esa concepción.
Un ejemplo significativo lo constituye la resolución dictada por el Tribunal Regional de Múnich I (Landgericht München I, asunto 26 O 869/26), que atribuyó responsabilidad a Google por afirmaciones generadas mediante su función AI Overviews. El tribunal entendió que esas respuestas no constituían una mera reproducción de contenidos ajenos, sino contenido generado por el propio servicio y, por tanto, jurídicamente imputable a la empresa.
Más allá del caso concreto, esta resolución pone de manifiesto una idea de alcance general: quien comercializa un servicio basado en inteligencia artificial no ofrece únicamente un algoritmo, sino un servicio completo cuya arquitectura, funcionamiento y condiciones de utilización pueden generar responsabilidades propias.
Esta evolución resulta coherente con el Reglamento (UE) 2024/1689, de Inteligencia Artificial (AI Act), que distribuye obligaciones entre los distintos operadores que intervienen en el desarrollo, comercialización, implantación y utilización de sistemas de IA, superando la idea de que exista un único responsable.
La organización también forma parte del problema... y de la solución
Sin embargo, el análisis no termina en la empresa que presta el servicio.
Los orientadores educativos, como otros profesionales que trabajan con información especialmente sensible, desarrollan su actividad dentro de organizaciones sujetas a obligaciones legales de confidencialidad, protección de datos y secreto profesional. Esas obligaciones no recaen exclusivamente sobre cada profesional considerado individualmente; también condicionan la forma en que las organizaciones deben diseñar y gestionar sus sistemas de información.
No resulta casual que las administraciones educativas proporcionen plataformas corporativas para la gestión de expedientes, sistemas de autenticación, aplicaciones específicas o procedimientos de acceso a la información. Todas esas herramientas forman parte de una infraestructura creada precisamente para facilitar el cumplimiento de las obligaciones jurídicas que la propia organización impone.
La incorporación de la inteligencia artificial plantea una exigencia semejante. Si una Administración considera legítimo utilizar asistentes basados en LLM en el ejercicio profesional, resulta coherente que sea ella misma quien establezca las condiciones de utilización y proporcione, directamente o mediante acuerdos con terceros, servicios compatibles con las exigencias de confidencialidad derivadas del tratamiento de datos especialmente protegidos.
Cuando esa infraestructura no existe, surgen algunas preguntas. ¿Puede exigirse al profesional que valore por sí solo la idoneidad técnica y jurídica de los servicios disponibles? ¿Debe asumir individualmente una decisión que afecta a la organización del tratamiento de los datos? ¿No corresponde, precisamente, a la Administración establecer el marco técnico y organizativo que haga posible un uso legítimo y seguro de estas herramientas? Y, si así es, ¿no forma parte también de esa responsabilidad proporcionar a los profesionales orientaciones claras y la formación técnica y jurídica necesaria para utilizarlas de manera adecuada?
La responsabilidad del profesional sigue siendo decisiva
La existencia de responsabilidades por parte de la empresa que presta el servicio y de la organización en cuyo ámbito se desarrolla el tratamiento no desplaza ni sustituye la responsabilidad del profesional. Se trata de planos distintos de responsabilidad que concurren sobre una misma actividad y se complementan entre sí.
En este contexto, corresponde al orientador ejercer su juicio profesional: decidir si un determinado servicio resulta adecuado para la tarea que pretende realizar, valorar qué información puede introducirse en él, respetar las instrucciones y protocolos establecidos por la organización y abstenerse de utilizar herramientas cuyas garantías resulten insuficientes para el tratamiento de datos especialmente sensibles.
Cuando la organización pone a disposición de sus profesionales una infraestructura diseñada para ese fin, el juicio profesional consiste en utilizarla correctamente. Cuando esa infraestructura no existe, el profesional debe extremar la prudencia y valorar alternativas que permitan mantener un mayor control sobre la información, como la anonimización de los datos o el empleo de modelos ejecutados localmente cuando ello resulte técnicamente viable.
La IA no suspende el Derecho
Todo ello se desarrolla dentro de un marco jurídico plenamente vigente. El tratamiento de datos personales continúa sometido al Reglamento General de Protección de Datos (RGPD) y, en España, a la Ley Orgánica 3/2018, de Protección de Datos Personales y garantía de los derechos digitales (LOPDGDD). A este marco se suma ahora el Reglamento Europeo de Inteligencia Artificial, que introduce obligaciones específicas para los distintos operadores implicados en el ciclo de vida de los sistemas de IA.
La inteligencia artificial no crea un espacio ajeno al Derecho. Las obligaciones de confidencialidad siguen siendo plenamente aplicables tanto a las empresas que prestan estos servicios como a las administraciones que los autorizan y a los profesionales que los utilizan.
La competencia profesional exige comprender todo el sistema
Con frecuencia se identifica la competencia en inteligencia artificial con la capacidad para redactar buenos prompts o manejar con soltura un determinado chatbot. Sin embargo, esa visión resulta claramente insuficiente en profesiones cuyo ejercicio está condicionado por obligaciones legales, éticas y organizativas.
La verdadera competencia profesional consiste en comprender el conjunto del sistema: conocer cómo funciona el modelo de lenguaje, qué garantías ofrece el servicio que lo incorpora, cuál es el marco jurídico aplicable, qué responsabilidades corresponden a la organización y qué decisiones debe adoptar el propio profesional.
La inteligencia artificial no desplaza la responsabilidad; la distribuye entre nuevos actores. Precisamente por ello, utilizar estas herramientas de forma competente exige entender que la confidencialidad no depende de un único elemento, sino del correcto funcionamiento de toda la cadena de responsabilidades que hace posible su utilización.
En las próximas entradas analizaremos algunas de las estrategias que permiten compatibilizar el potencial de la inteligencia artificial con la protección de la información: la anonimización y seudonimización de los datos, los criterios para seleccionar servicios con mayores garantías y las alternativas técnicas que permiten integrar modelos de lenguaje en entornos con un mayor control sobre la información tratada.
