Contexto largo y preguntas sobre documentos

Capítulo 15 · cuando el documento entero simplemente cabe

La hora

Ventanas de 100k–1M tokens cambian la cuenta
¿El documento cabe? Sáltate el retrieval — pégalo todo
Contexto largo vs RAG: sabe qué herramienta
Los costos ocultos: los tokens, y la mitad

El anti-RAG

RAG existía porque los documentos no cabían. Ahora muchos sí.

Sin chunking
Sin embeddings
Sin "el chunk que necesitaba no se recuperó"

Casi no hay API nueva

def ask(document, question):
    r = client.responses.create(
        model="gpt-5.4-nano",
        instructions=f"Answer using this document.\n\n{document}",
        input=[{"role": "user", "content": question}])
    return r.output_text

Lo nuevo es la escala de lo que va en instructions.

Contexto largo vs RAG

Contexto largo	RAG
Cabe, no puede fallar	Escala más allá de cualquier ventana
Relee todo en cada llamada	Trae solo lo necesario
Documento único y estable	Corpus grande y cambiante

No "mejor" — situacional.

Dos costos ocultos

Pagas por cada token, en cada llamada — 20 preguntas = 20× el documento (el caching ayuda, la próxima semana)
Los modelos atienden mejor al principio y al final — pon ahí la pregunta + el material clave

Ponlo a trabajar — tres apps

Q&A de documento completo — pega doc + Q:, responde a partir de todo
Resumen largo — TL;DR + puntos clave, sin map-reduce
Buscador de aguja — un dato enterrado de un muro de texto

Lo que te llevas

¿Cabe en la ventana? Pégalo y sáltate el retrieval. ¿Corpus grande o cambiante? RAG. Cuida la cuenta de tokens y la mitad perdida. Siguiente: prompt caching, costo y latencia — el dinero hecho explícito.