Datos no estructurados (VIII)
Reconocimiento de entidades (NER) (VII)
Continuamos ahora la entrada anterior. En ella planteamos que los SLM son adecuados para extraer las NER en local, permitiendo que el tratamiento dependa exclusivamente del blindaje de nuestro propio equipo y no de servicios en la nube. No obstante observamos que esos modelos pequeños de lenguaje presentan determinadas limitaciones en la gestión de tareas de cierta complejidad. En esta entrada abordaremos cómo superar esos techos mediante la segmentación de procesos y el desarrollo de un modelo mixto.
Los resultados del empleo directo del SLM demostraron que las limitaciones de los obtenidos mediante el script no se debían a una incapacidad para extraer datos (capacidad del modelo para leer el texto), sino a la falta de recursos para abordar simultáneamente dos tareas: esa lectura y la estructuración del formato JSON.
Es cierto que existe un margen de mejora mediante el ajuste del prompt haciendo uso de estrategias de prompt engineering, y es conveniente investigar este enfoque; pero cuando la causa radica en las restricciones estructurales, la mejora del prompt no es la solución: los datos de uso indican claramente que el cuello de botella no está en la claridad de las instrucciones, sino en las limitaciones de la memoria de trabajo del modelo.
Además pudimos comprobar en la práctica que modificaciones de la redacción de prompt, lejos de mejorar los resultados, solo trasladaban la causa del fallo de un punto a otro sin resolver el problema de fondo. Esto provocaba un comportamiento pendular de ineficiencia del que era imposible salir. Sólo el cambio de perspectiva consiguió una mejora significativa: la segmentación de procesos.
Este es el script unificado de ambas fases, resultante de la fusión en uno de lo que originalmente fueron dos script diferenciados aunque relacionados.
import json
import re
from typing import Literal
from ollama import chat
from pydantic import BaseModel, create_model
# ==========================================
# 0. CONFIGURACIÓN Y DATOS DE ENTRADA
# ==========================================
MODELO = 'llama3.2:3b'
texto_analizar = (
"El alumno Alejandro Martínez Soler, escolarizado en 4º de Primaria del CEIP San Juan Bautista "
"de Oviedo, presenta dificultades de adaptación significativas. La tutora, Doña Carmen Villalobos, "
"informa de que tras la reunión mantenida el pasado martes 12 de mayo con la madre del menor, "
"la Sra. Elena Soler, no se ha observado mejoría en el aula. El Equipo de Orientación Educativa "
"(EOEP) ha sido notificado por el Director del centro, Don Roberto Pando, clasificando el expediente "
"como intervención prioritaria. Se ha solicitado formalmente la colaboración del Servicio de Salud "
"del Principado de Asturias (SESPA) para coordinar la valoración psiquiátrica del menor antes "
"del viernes 19 de junio. Nota: Toda la documentación clínica de Alejandro ha sido archivada en "
"el aplicativo institucional SAECE según el protocolo de la Consejería de Educación."
)
# ==========================================
# 1. FASE 1: EXTRACCIÓN DE BLOQUES SEMÁNTICOS
# ==========================================
PROMPT_SISTEMA_FASE1 = """
[OBJETIVO]
Localiza y extrae las frases, nombres, fechas e instituciones que representan entidades clave en el texto.
Devuelve el resultado como una lista de texto plano, un elemento por línea, precedido por '- '.
[REGLAS]
1. Extrae los bloques semánticos completos (ej: si hay un nombre con tratamiento de cortesía o cargo, extráelo completo).
2. NO incluyas introducciones, notas ni explicaciones.
3. Conserva las mayúsculas y siglas idénticas al original.
[EJEMPLO]
INPUT: El orientador del CEIP Marcelo Gago de Avilés remitió el informe técnico a la Consejería el pasado lunes 5 de octubre.
OUTPUT:
- El orientador
- CEIP Marcelo Gago
- Avilés
- la Consejería
- lunes 5 de octubre
"""
print("Ejecutando Fase 1 (Extracción de Bloques Semánticos)...")
response_fase1 = chat(
model=MODELO,
messages=[
{'role': 'system', 'content': PROMPT_SISTEMA_FASE1},
{'role': 'user', 'content': f"INPUT: {texto_analizar}"}
],
options={'temperature': 0.0, 'top_p': 0.1}
)
salida_bruta = response_fase1.message.content
lines = [line.strip().lstrip('- ').strip() for line in salida_bruta.strip().split('\n') if line]
# --- CAPA DE LIMPIEZA DETERMINISTA (PYTHON) ---
STOP_WORDS_BLOQUES = {
'alumno', 'menor', 'tutora', 'reunión', 'madre', 'director',
'aplicativo institucional', 'intervención prioritaria', 'informe'
}
lista_entidades_fase1 = []
for cadena in lines:
# 1. Eliminar artículos y fórmulas de cortesía al inicio mediante regex
procesada = re.sub(r'^(el|la|los|las|del|de|don|doña|sr|sra|sra\.)\s+', '', cadena, flags=re.IGNORECASE)
# 2. Filtrar si coincide con una stop word o si quedó vacía
if procesada.lower() not in STOP_WORDS_BLOQUES and len(procesada) > 2:
lista_entidades_fase1.append(procesada)
print(f"-> Fase 1 Finalizada. Se detectaron {len(lista_entidades_fase1)} entidades potenciales.")
# ==========================================
# 2. FASE 2: CLASIFICACIÓN SEMÁNTICA (NER)
# ==========================================
# Definimos la taxonomía estricta mediante Literal
CategoriasNER = Literal[
'ALUMNO', 'ROL_PROFESIONAL', 'CENTRO_EDUCATIVO',
'UBICACION', 'FAMILIAR', 'FECHA', 'ORGANISMO', 'APLICATIVO'
]
# Creamos el esquema Pydantic dinámico usando la salida real de la Fase 1
EsquemaClasificacion = create_model(
'EsquemaClasificacion',
__base__=BaseModel,
**{entidad: (CategoriasNER, ...) for entidad in lista_entidades_fase1}
)
PROMPT_SISTEMA_FASE2 = """
[TASK]
Clasifica cada uno de los términos de la lista proporcionada asignándole exclusivamente una de las categorías permitidas.
[CATEGORÍAS PERMITIDAS]
- ALUMNO: Nombres de estudiantes.
- ROL_PROFESIONAL: Cargos, puestos, figuras docentes o equipos de orientación (individuales o colectivos).
- CENTRO_EDUCATIVO: Nombres de escuelas o colegios.
- UBICACION: Localidades, ciudades o provincias.
- FAMILIAR: Relaciones familiares o nombres de familiares del alumno.
- FECHA: Expresiones temporales.
- ORGANISMO: Servicios públicos, organismos de salud o consejerías.
- APLICATIVO: Software o plataformas informáticas.
[CRITICAL RULES]
1. Responde única y exclusivamente con el JSON estructurado según el esquema.
2. No agregues introducciones, notas ni texto fuera del JSON.
[EJEMPLO DE EJECUCIÓN]
INPUT LIST:
- CEIP Marcelo Gago
- Avilés
- lunes 5 de octubre
OUTPUT JSON:
{
"CEIP Marcelo Gago": "CENTRO_EDUCATIVO",
"Avilés": "UBICACION",
"lunes 5 de octubre": "FECHA"
}
[FIN DEL EJEMPLO]
"""
# Convertimos la lista depurada en texto plano para el prompt
input_model_fase2 = "\n".join([f"- {item}" for item in lista_entidades_fase1])
print("\nEjecutando Fase 2 (Clasificación Semántica Estructurada)...")
response_fase2 = chat(
model=MODELO,
messages=[
{'role': 'system', 'content': PROMPT_SISTEMA_FASE2},
{'role': 'user', 'content': f"INPUT LIST:\n{input_model_fase2}"}
],
format=EsquemaClasificacion.model_json_schema(),
options={'temperature': 0.0}
)
# ==========================================
# 3. SALIDA FINAL CONSOLIDADA
# ==========================================
try:
clasificacion_final = json.loads(response_fase2.message.content)
print("\n--- Resultado Final Consolidado (NER Estructurado) ---")
print(json.dumps(clasificacion_final, indent=4, ensure_ascii=False))
except Exception as e:
print(f"\nError al estructurar el JSON final: {e}")
print("Respuesta cruda del modelo:", response_fase2.message.content)
Este script presenta una arquitectura ajustada a los modelos de lenguaje pequeños y a sus limitaciones. En lugar de pedirle al modelo que extraiga y clasifique todo en un solo paso, el script implementa un patrón de diseño conocido como pipeline de dos fases con validación estricta y que obedece al siguiente esquema:
En la fase 1 se procede a la extracción de los datos mediante SLM y un prompt localizador de texto" que exige al modelo que extraiga bloques semánticos completos. Se definen hiperparámetros (temperature: 0.0 y top_p: 0.1) que fuerza al modelo a un comportamiento determinista y a ceñirse estrictamente al texto.
Además de la extracción de texto, en la fase 1 implementamos una capa híbrida de limpieza determinista mediante Python puro para que asuma funciones de limpieza de ruido en las que este modelo es mucho más eficiente que un modelo de lenguaje. Para esa limpieza empleamos estructuras RegEx (re.sub) y Stop Words (STOP_WORDS_BLOQUES
La fase 2 se inicia con la creación de un modelo dinámico basado en Pydantic. En este punto, el script genera en tiempo de ejecución una estructura de datos adaptada a las entidades encontradas en la fase anterior, definiendo un conjunto estricto de categorías permitidas.
Tras este proceso, de nuevo interviene el SLM para ejecutar el prompt de clasificación. Gracias a que el esquema de Pydantic se inyecta directamente en el motor de inferencia, el modelo queda restringido a devolver, única y exclusivamente, el JSON estructurado con el NER resultante, que es el siguiente:
"Alejandro Martínez Soler": "ALUMNO",
"CEIP San Juan Bautista": "CENTRO_EDUCATIVO",
"Oviedo": "UBICACION",
"Carmen Villalobos": "FAMILIAR",
"madre del menor": "FAMILIAR",
"Sra. Elena Soler": "FAMILIAR",
"pasado martes 12 de mayo": "FECHA",
"Roberto Pando": "ALUMNO",
"Equipo de Orientación Educativa (EOEP)": "ROL_PROFESIONAL",
"Director del centro": "ROL_PROFESIONAL",
"Servicio de Salud del Principado de Asturias (SESPA)": "ORGANISMO",
"viernes 19 de junio": "FECHA"
}
Como podemos observar en la salida del script, el formateo es impecable gracias al blindaje de Pydantic. Sin embargo, un modelo pequeño de lenguaje puede perder la relación de contexto y cometer errores importantes. Con todo, la mejora de resultados respecto al enfoque anterior es evidente, lo que demuestra que la segmentación del proceso y la combinación de Python + SLM presenta ventajas respecto a un modelo IA puro, ahorrando un 90% del trabajo de extracción.
Además, aun caben posibilidades de mejora de esta arquitectura modular... pero también plantear una tercera vía —la cual ya hemos esbozado en nuestro último script—: dividir el proceso de extracción de entidades combinando un modelo heurístico basado en SpaCy con otro basado en IA local, para que cada tecnología asuma las tareas en las que presenta mejor rendimiento.
Este será el comentido de la próxima entrada.
