Una agencia de contenidos que trabajaba con GPT-4o gastando $3.200/mes redujo su factura a $480 en seis semanas sin cambiar de modelo ni reducir el volumen de producción. Cada táctica que usaron está en esta guía —y la mayoría requiere menos de un día de implementación.
Empieza por medir antes de optimizar
El error más grave que cometen los equipos es implementar optimizaciones de costes sin saber a dónde van los tokens. No puedes priorizar lo que no has medido.
Antes de aplicar cualquiera de las tácticas a continuación, extrae 30 días de datos de tu panel de uso de OpenAI (platform.openai.com/usage) y categoriza tus llamadas por tipo de flujo de trabajo. En casi todos los casos, el 20% de tus tipos de llamadas consume entre el 70 y el 80% de tus costes de tokens. Esos son los únicos que vale la pena optimizar primero.
Para cada flujo de trabajo de alto coste, pega un par representativo de prompt y respuesta en el contador gratuito de tokens de IA para obtener el recuento exacto de tokens. Multiplícalo por el volumen de llamadas diarias para ver tu consumo mensual de tokens por flujo de trabajo. Esto lleva unas horas y convierte las conjeturas en números sobre los que puedes actuar realmente.
Tácticas 1–5: Reducir los tokens de entrada
1. Acorta el prompt de sistema. Este es sistemáticamente el cambio con mayor efecto. La mayoría de los prompts de sistema contienen instrucciones redundantes, escenarios de ejemplo que podrían eliminarse y frases verbosas que no añaden nada. Un prompt de sistema de 2.000 tokens reescrito a 400 tokens —con un comportamiento idéntico— ahorra 1.600 tokens por llamada a la API. Con 10.000 llamadas/día en GPT-4o, eso son 16.000 millones de tokens al mes, es decir, aproximadamente $80.000 en ahorro anual solo en costes de entrada.
Cómo auditar tu prompt de sistema: pégalo en el Contador de tokens de IA, luego elimina cualquier frase que no cambie el comportamiento del modelo. Prueba de forma empírica —elimina una cláusula, ejecuta 20 prompts de prueba y comprueba si la calidad de la salida se degrada.
2. Poda el historial de conversación de forma agresiva. Muchas aplicaciones de chat pasan el historial completo de conversación con cada mensaje. Una conversación de 10 turnos con 500 tokens por turno envía 5.000 tokens extra por mensaje en el turno 10. Estrategias: conservar solo los últimos N turnos (3–5 suelen ser suficientes), usar un resumen continuo que comprima el contexto más antiguo, o incluir solo los turnos anteriores más relevantes en lugar de todos.
3. Elimina espacios en blanco y formato de las entradas a la API. El JSON con formato legible utiliza entre un 20 y un 30% más de tokens que el JSON compacto. Si envías datos estructurados a la API, serializalos sin sangría. El mismo principio aplica a cualquier formato de entrada estructurada.
4. Recorta el contexto recuperado en los pipelines RAG. Los pipelines de generación aumentada por recuperación suelen sobre-recuperar contexto por precaución y luego enviar demasiado al modelo. Si recuperas 10 fragmentos de 500 tokens cada uno y el modelo solo necesita 2–3 para responder correctamente, estás desperdiciando entre 3.500 y 4.000 tokens de entrada por llamada. Reduce el número de fragmentos, añade un umbral de relevancia antes de incluirlos, o usa un modelo rápido y económico para filtrar el contexto recuperado previamente.
5. Comprime los ejemplos en los prompts de pocos ejemplos. Los ejemplos de pocos ejemplos son caros porque se repiten en cada llamada. Dos ejemplos bien elegidos casi siempre superan a cinco mediocres. Si tu prompt tiene 5 o más ejemplos, elimínalos de uno en uno y comprueba —con frecuencia comprobarás que 2–3 soportan todo el peso.
Tácticas 6–10: Reducir los tokens de salida
6. Especifica la longitud de la salida de forma explícita. La forma más fiable de reducir los costes de tokens de salida es dar al modelo instrucciones con restricciones de longitud exactas: «Responde en 3 oraciones o menos.» «Tu salida debe ser un objeto JSON con exactamente estos campos.» «Escribe un resumen de 150 palabras.» Sin restricciones de longitud, los modelos tienden a generar en exceso.
7. Usa formatos de salida estructurados. La salida en JSON es más eficiente en tokens que la prosa para datos estructurados. Un objeto JSON con 5 campos suele usar menos tokens que un párrafo equivalente que describe esos 5 campos, y elimina la necesidad de análisis posterior.
8. Elimina los preámbulos del modelo en la salida. Por defecto, los modelos a menudo comienzan las respuestas con «Claro, aquí está la respuesta…» o «Buena pregunta.» Estos preámbulos conversacionales consumen tokens y no aportan información. Añade a tu prompt de sistema: «Comienza las respuestas directamente sin frases introductorias ni reconocimientos.»
9. Pide un razonamiento conciso cuando uses cadena de pensamiento. Si necesitas que el modelo razone sobre un problema, instrúyelo para que razone de forma concisa. «Piensa paso a paso, pero limita tu razonamiento a 3–5 puntos antes de responder» suele producir una precisión equivalente a la cadena de pensamiento sin restricciones a una fracción del coste en tokens.
10. Usa streaming y secuencias de parada. Si tu aplicación procesa la respuesta conforme llega en streaming, puedes detectar cuándo el modelo ha incluido toda la información necesaria y detener la generación antes. Las secuencias de parada te permiten definir una cadena de texto que termina la respuesta —útil para flujos de trabajo estructurados donde la salida tiene un marcador de finalización claro.
Tácticas 11–15: Enrutamiento de modelos y caché
11. Enruta las tareas al modelo más económico capaz. GPT-4o mini cuesta aproximadamente 30 veces menos que GPT-4o. Para muchas tareas bien definidas —clasificación, extracción simple, respuesta a preguntas frecuentes, contenido de formato corto— mini es indistinguible de GPT-4o en calidad de salida. Implementa una capa de enrutamiento que envíe tareas simples y bien estructuradas a mini y escale las complejas a GPT-4o o GPT-4o Plus. Este patrón de enrutamiento, aplicado correctamente, suele reducir los costes entre un 40 y un 60% sin degradar la calidad de cara al usuario.
12. Usa GPT-4o mini para el filtrado en primer paso. Si tienes un pipeline que procesa todas las entradas a través de un modelo caro, añade primero un paso de filtrado económico. GPT-4o mini puede determinar en 100–200 tokens si una solicitud necesita las capacidades de GPT-4o. El paso de filtrado cuesta una fracción de céntimo; enrutar las entradas incorrectas al modelo caro cuesta mucho más.
13. Implementa el caché de prompts. El caché de prompts de OpenAI (disponible para GPT-4o y modelos de la serie o) almacena automáticamente en caché el prefijo de tu prompt cuando cumple los requisitos de longitud y se reutiliza con suficiente frecuencia. Los tokens en caché cuestan un 50% menos que los tokens sin caché. Para maximizar la tasa de aciertos de caché: mantén tu prompt de sistema al principio de cada solicitud, hazlo estático (no incrustes variables dinámicas en el prompt de sistema) y asegúrate de que la longitud del contexto supere el umbral de caché (actualmente mínimo de 1.024 tokens).
14. Almacena en caché las respuestas para consultas repetidas. Si tu aplicación sirve consultas similares a múltiples usuarios, una capa de caché semántico (usando un almacén vectorial para comparar nuevas consultas con respuestas anteriores) puede reducir drásticamente las llamadas a la API. Un bot de soporte al cliente donde el 40% de las preguntas son variaciones de las mismas 20 preguntas debería ver una reducción del 40% en llamadas con el caché. Librerías como GPTCache o una capa de similitud semántica basada en Redis implementan esto sin demasiada sobrecarga.
15. Usa el procesamiento por lotes para cargas de trabajo no en tiempo real. La API Batch de OpenAI procesa solicitudes de forma asíncrona con un plazo de 24 horas y cobra un 50% menos que la API síncrona. Cualquier carga de trabajo sin conexión —enriquecimiento nocturno de datos, colas de procesamiento de documentos, generación de contenido programada— debería usar la API Batch por defecto. El descuento del 50% aplica a todos los modelos, incluyendo GPT-4o.
El efecto compuesto: combina las tácticas
Estas tácticas se multiplican, no solo se suman. Un flujo de trabajo donde recortas el prompt de sistema (ahorra el 60% de los tokens de entrada), enrutas el 70% de las llamadas a GPT-4o mini y activas el procesamiento por lotes en las llamadas restantes de GPT-4o puede producir reducciones de coste totales del 85–92%, incluso cuando cada táctica individualmente aportó entre el 30 y el 50%.
El ejemplo de la agencia del comienzo: recortaron los prompts de sistema (redujeron los tokens de entrada en un 65%), enrutaron las tareas de clasificación a mini (redujeron el volumen de llamadas a GPT-4o en un 70%) y activaron el procesamiento por lotes para las ejecuciones de generación de contenido nocturnas (50% de descuento en las llamadas restantes). Tres tácticas, seis semanas, $2.720/mes ahorrados.
Ve tu recuento de tokens antes de optimizar
No puedes estimar con precisión el ahorro de costes sin conocer tu consumo actual de tokens. Pega tu prompt de sistema existente, un mensaje de usuario típico y una respuesta representativa del modelo en el contador gratuito de tokens de IA —devuelve el recuento exacto de tokens más una proyección de coste mensual según tu volumen de llamadas. Ejecútalo antes y después de aplicar cada táctica para medir el ahorro real, no el estimado.
Preguntas frecuentes
¿Qué reducción de costes es realista para la mayoría de los equipos? Basándonos en los patrones de los alumnos de NMM que han realizado proyectos de optimización, los equipos con flujos de trabajo sin optimizar —es decir, los prompts de sistema no se han auditado, todas las llamadas van al mismo modelo y no hay procesamiento por lotes— suelen lograr una reducción de costes del 50–75% en las primeras dos semanas. Las reducciones del 90% o más ocurren cuando el enrutamiento de modelos y el caché se añaden encima.
¿Acortar los prompts reduce la calidad de la salida? Depende de lo que elimines. Eliminar instrucciones genuinamente redundantes, frases verbosas y ejemplos poco usados rara vez degrada la calidad. Eliminar instrucciones de restricción, especificaciones de formato de salida o contexto que el modelo realmente utiliza sí la degradará. La única respuesta fiable es la prueba empírica en tus cargas de trabajo reales.
¿Cuál es la longitud mínima del prompt para que se active el caché de prompts de OpenAI? Actualmente 1.024 tokens. Tu prompt de sistema y cualquier contenido de prefijo estático debe superar este umbral para que el caché entre en acción. Esto vale la pena saber de antemano porque algunos equipos tienen prompts de sistema cortos y eficientes que no cumplen los requisitos —en ese caso se aplican otras tácticas.
¿Puedo usar todas estas tácticas con GPT-4o mini, no solo con GPT-4o? Sí. Las 15 tácticas aplican a cualquier modelo de OpenAI. Los porcentajes de ahorro difieren según el modelo (el caché de prompts tiene más valor en modelos caros), pero los principios se mantienen en toda la gama de modelos.
¿Existe el riesgo de que el modelo ignore las instrucciones si el prompt de sistema es demasiado corto? No de forma inherente. El rendimiento del modelo depende de la calidad de las instrucciones, no de su longitud. Un prompt de sistema de 200 tokens con instrucciones claras y específicas a menudo supera a uno de 2.000 tokens con instrucciones repetitivas o contradictorias. La especificidad y la capacidad de prueba importan más que la longitud.