Fine-tuning y personalización

Capítulo 19 · la última herramienta a la que recurrir

La hora

• Enseña comportamiento con ejemplos (cientos de pares)
• El último recurso, no el primero
• El 80% del trabajo son los DATOS
• Prompt → few-shot → RAG → fine-tune

El marco de decisión

• Prompt primero — rápido, gratis de cambiar
• Few-shot — un estilo o formato, sigue siendo solo un prompt
• RAG — la brecha es conocimiento que al modelo le falta
• Fine-tune — comportamiento consistente a escala/latencia

El tuning enseña comportamiento, no hechos. RAG es para los hechos.

Los datos de fine-tuning son JSONL

{"messages": [
  {"role": "system", "content": "You are a pirate translator."},
  {"role": "user", "content": "hello there"},
  {"role": "assistant", "content": "Ahoy there, matey!"}]}

La consistencia lo es todo — datos descuidados enseñan comportamiento descuidado.

El job es una nota al pie

f = client.files.create(file=open("train.jsonl","rb"), purpose="fine-tune")
job = client.fine_tuning.jobs.create(
    training_file=f.id, model="gpt-4o-mini-2024-07-18")
# poll until done → use the model id it produces

Asíncrono y facturable. Los datos eran el trabajo.

Ponlo a trabajar — tres apps

• Constructor de dataset — ejemplos → JSONL válido (ambos formatos)
• Estilo few-shot — una voz personalizada, sin entrenamiento
• Datos sintéticos — genera ejemplos a partir de una especificación

El arco honesto: sobre todo datos, con la tentación de saltarse el tuning.

El compromiso

Un fine-tune te ancla al modelo base que entrenaste.

Salen mejores modelos base todo el tiempo. Re-entrenar es el precio de mantenerte al día.

Lo que te llevas

Último recurso, no primero. RAG para conocimiento, tuning para comportamiento. El job es una nota al pie; los datos son el trabajo. Sigue: juntarlo todo y dejar que el modelo maneje — un agente de un solo loop.