Qué es un modelo de decisión y por qué lo ponemos delante del LLM

Casi todas las demos de IA usan un LLM para todo. Incluidas decisiones que no necesitan escribir ni una palabra. Nosotros hacemos lo contrario: lo primero que ponemos delante de muchas tareas no es un modelo de lenguaje, es un modelo de decisión.

Un modelo que no escribe

El ejemplo que usamos es Laya, un modelo abierto (Apache 2.0) con dos versiones: 421M de parámetros en inglés y 322M en multilingüe. Es un encoder no autorregresivo: no genera texto token a token.

Le das un texto —un email, un ticket, un log, un JSON— y una o varias preguntas con opciones cerradas. Devuelve la probabilidad de cada opción. Las preguntas son de tres tipos:

• choice: elegir una de varias opciones (departamento, familia de fallo…).
• score: puntuar en una escala (urgencia, gravedad…).
• noul: sí/no con probabilidad calibrada.

Todo eso en un solo forward pass: unos 30 ms en GPU (unos cientos en CPU). Y como el espacio de respuestas lo defines tú en la propia petición, no hay JSON que parsear ni categorías inventadas.

No alucina, pero se puede equivocar

Esto es importante y casi nadie lo cuenta. Que no invente una categoría no significa que acierte. Sin entrenar sobre tu dominio, el modelo base puede fallar y hacerlo, además, con confianza alta. Hay casos documentados de idiomas no entrenados donde acierta cero y reporta 0,95 de confianza.

Por eso la probabilidad calibrada importa más que la respuesta: sirve para decidir cuándo el modelo lo tiene claro y cuándo hay que derivar a una persona. Y por eso hacemos fine-tuning por dominio: en el benchmark de referencia, el modelo base saca 0,362 y el ajustado 0,766. Se entrena en un par de GPUs modestas, así que para un dominio concreto es asumible.

Cómo lo intercalamos

Hay dos patrones y los usamos según el caso.

1. Decisión → LLM

El modelo pequeño clasifica, enruta o puntúa. El LLM solo entra donde aporta: redactar, resumir, explicar. En postventa, por ejemplo, el modelo de decisión determina la familia de fallo y la gravedad, y con eso se elige la guía; el LLM escribe el resumen para el técnico.

2. LLM → decisión (guardrail)

Al revés: el modelo pequeño valida lo que produjo el grande. Filtra inyección de prompt, detecta datos personales o comprueba que el formato es el correcto antes de que salga a producción.

Cuando la confianza del modelo pequeño es baja, se escala al LLM o a una persona. Es una cascada: lo barato primero, lo caro solo si hace falta.

Por qué importa, sobre todo en local

Un modelo de 27B en Q8 ocupa 29 GB y consume recursos serios. Gastarlo en clasificar un email es tirar dinero y milisegundos. Intercalar modelos pequeños con el LLM es lo que permite tener un sistema rápido y de coste fijo: la decisión es determinista, auditable y repetible; el LLM queda para lo que de verdad requiere lenguaje.

Cuándo NO usar un modelo de decisión

Cuando la tarea es generar, resumir, razonar con matices o conversar. Ahí el modelo de decisión no pinta nada y el LLM es la herramienta. Saber cuál toca en cada punto del flujo es, en nuestra experiencia, la mitad del trabajo.