flowchart LR
d["Texto de internet"] --> pre["Preentrenamiento"]
pre --> base["Modelo base"]
base --> sft["Ajuste con instrucciones"]
sft --> rl["Ajuste con preferencias"]
rl --> chat["Modelo asistente"]
classDef externo fill:#ececf0,stroke:#868d9c,stroke-width:1.5px,color:#2b2f3a
classDef modelo fill:#e6ddf5,stroke:#7457bd,stroke-width:1.5px,color:#332757
classDef control fill:#d7eddc,stroke:#4a9463,stroke-width:1.5px,color:#1c4a2e
class d externo
class base,chat modelo
class pre,sft,rl control
3 Inteligencia Artificial
La Inteligencia Artificial es un campo multidisciplinar que pretende arrojar luz sobre cómo los entes inteligentes “hacen lo que hacen”. Crear modelos y simular su funcionamiento es un mecanismo base para la ciencia y de aquí se deriva el nombre de los sistemas que empleamos en la actualidad para emular comportamientos inteligentes.
Las recetas que permiten construir estos modelos basados en meras evidencias son los algoritmos. Partiendo de un conjunto de datos pueden aprender a estimar (regresión), etiquetar (clasificación) o generar ejemplos del mismo tipo (generación).
3.1 Modelos generativos
La distinción entre las dos primeras tareas y la tercera no es de grado, es de naturaleza, y conviene fijarla bien porque de ella se derivan casi todas las rarezas de los sistemas actuales.
Un modelo discriminativo aprende a separar. Dado un correo, decide si es spam o no; dada una radiografía, si hay fractura. Formalmente aprende \(P(y \mid x)\): la probabilidad de una etiqueta dada una evidencia. Es un modelo que responde preguntas cerradas y cuyo error es fácil de medir, porque para cada entrada existe una respuesta correcta contra la que comparar.
Un modelo generativo aprende a producir. En lugar de la frontera entre clases, modela cómo se distribuyen los propios datos, \(P(x)\), y una vez la conoce puede muestrear de ella ejemplos nuevos que se parecen a los que vio sin ser ninguno de ellos. Es la diferencia entre saber distinguir un cuadro falso de uno auténtico y saber pintar.
| Discriminativo | Generativo | |
|---|---|---|
| Qué aprende | La frontera entre clases | La distribución de los datos |
| Qué devuelve | Una etiqueta o un número | Un ejemplo nuevo |
| Cuándo acierta | Cuando coincide con la etiqueta | No hay etiqueta con la que comparar |
| Cómo se evalúa | Precisión, recall, error | Aquí empieza el problema |
Esa última fila es el origen de buena parte de Producción. Cuando no existe una respuesta correcta única, la pregunta “¿funciona?” deja de tener una respuesta objetiva y hay que construirla, que es de lo que trata el capítulo de evaluación.
3.2 El truco de la predicción de la siguiente palabra
Los modelos de lenguaje que hoy usamos aprenden una versión muy concreta y muy modesta de esa distribución: dada una secuencia de texto, cuál es la probabilidad de cada posible continuación. Nada más. Se entrenan tapando la siguiente palabra de un texto real, pidiendo al modelo que la adivine y corrigiéndole cuando falla, repetido sobre una cantidad de texto que ninguna persona podría leer en muchas vidas.
Lo llamativo es que resolver bien esa tarea tan tonta obliga a aprender cosas que no son nada tontas. Para completar “la capital de Francia es” hace falta un hecho. Para completar “el resultado de 17 por 23 es” hace falta un procedimiento. Para completar “el asesino resultó ser” al final de una novela policíaca hace falta haber seguido la trama. La predicción de la siguiente palabra no es el objetivo, es la excusa: es la tarea que fuerza al modelo a construir representaciones útiles del mundo por el camino (Radford et al. 2019).
ImportanteLa consecuencia incómoda
Si el objetivo de entrenamiento es producir la continuación más plausible, entonces una continuación falsa pero plausible es un éxito según ese objetivo. El modelo no tiene ningún mecanismo interno que distinga “esto lo sé” de “esto encaja bien aquí”.
Lo que llamamos alucinación no es un fallo del sistema. Es exactamente lo que le pedimos que hiciera, aplicado a un caso en el que no nos conviene. Cualquier solución tendrá que venir de fuera del modelo: del contexto que le demos, de las herramientas con las que pueda comprobar, o de la evaluación con la que le vigilemos.
3.3 Escala y emergencia
Durante años se asumió que un modelo de lenguaje era un modelo de lenguaje: útil para autocompletar, poco más. Lo que cambió el panorama fue descubrir que el rendimiento mejora de forma sorprendentemente regular al aumentar tres cosas a la vez (parámetros, datos y cómputo) y que esa mejora sigue una ley de potencias razonablemente predecible (Kaplan et al. 2020).
Predecible en la pérdida, eso sí. Lo que no era predecible es que, a partir de ciertos tamaños, aparecieran capacidades que los modelos pequeños sencillamente no tenían: seguir instrucciones, razonar en varios pasos, traducir entre idiomas que nadie emparejó explícitamente. Se popularizó llamarlas capacidades emergentes, aunque conviene tomar el término con pinzas: buena parte de esa aparente brusquedad se debe a que las métricas con las que las medimos son de todo o nada.
El trabajo posterior corrigió además una idea muy extendida. Durante un tiempo la carrera fue por el número de parámetros, hasta que se comprobó que los modelos de aquella época estaban infraentrenados: para un presupuesto de cómputo dado, convenía un modelo más pequeño alimentado con muchos más datos (Hoffmann et al. 2022). De ahí viene que en 2026 un modelo de 30.000 millones de parámetros pueda superar a uno de 175.000 millones de hace cuatro años.
3.4 De completar texto a obedecer
Un modelo entrenado solo con predicción de la siguiente palabra es incómodo de usar. Si le escribes una pregunta, su continuación estadísticamente más plausible puede ser otra pregunta, porque en internet las preguntas suelen venir en listas. Hace falta un segundo paso que lo convierta de modelo de lenguaje en asistente.
El ajuste con instrucciones (supervised fine-tuning) le enseña el formato: esto es una petición, esto es una respuesta. El ajuste con preferencias le enseña el criterio: entre dos respuestas, cuál prefieren las personas. La receta original usaba aprendizaje por refuerzo sobre un modelo de recompensa entrenado con comparaciones humanas (Ouyang et al. 2022) y hoy conviven variantes más baratas, pero la idea es la misma.
Esta fase es la que produce el tono servicial, la que instala las negativas ante peticiones problemáticas y la que hace que el modelo diga “como modelo de lenguaje, no puedo”. También es la responsable de la adulación: si las personas puntúan mejor las respuestas que les dan la razón, el modelo aprende a dar la razón. Es un sesgo introducido por el método, no un defecto de carácter.
NotaBase, instruct, thinking
Cuando un proveedor publica pesos abiertos suele ofrecer varias variantes del mismo modelo y no son intercambiables:
- Base: solo preentrenamiento. Útil para ajustar sobre él, incómodo para conversar.
- Instruct o chat: el anterior más las dos fases de ajuste. Es el que se usa el 95% de las veces.
- Thinking o reasoning: además entrenado para producir una cadena de razonamiento antes de responder, cambiando cómputo en inferencia por precisión. Lo veremos al hablar de inferencia.
Descargar el base pensando que es el de chat es un error de principiante habitual y produce resultados desconcertantes.
3.5 Más allá del texto
Aunque este manual gira en torno al lenguaje, la misma idea de aprender una distribución y muestrear de ella sostiene la generación de imagen, audio y vídeo, con arquitecturas distintas (los modelos de difusión, principalmente) y con un detalle que merece atención: los modelos multimodales actuales proyectan imágenes, audio y texto a un mismo espacio de representación, de modo que una imagen puede ocupar el lugar de una instrucción.
Eso tiene una lectura práctica y otra de seguridad. La práctica es que se puede pedir a un modelo que lea una factura escaneada. La de seguridad es que una instrucción puede venir escondida en un píxel, y a eso volveremos en los retos de seguridad.
Antes de eso conviene abrir la caja y ver qué hay dentro, que es lo que hace el siguiente capítulo.