MÓDULO 17 · SERVERLESS AI · 25 MIN

Por token o por hora: el modelo de coste

La diferencia que decide la factura no es qué modelo usas, es si pagas por token o por hora. Una pasarela de modelos cuesta cero cuando nadie la llama; un endpoint desplegado cobra encendido aunque no llegue ni una petición. Todo lo demás —el precio por millón, la variante barata frente a la cara— es ruido comparado con esa diferencia.
01 — Los dos relojes
Qué mide cada factura

Por token

Bedrock · Azure OpenAI · Vertex (modelos gestionados)
  • Se paga lo que entra y lo que sale, por llamada.
  • Sin tráfico, coste cero. Nada que apagar.
  • La factura crece en línea recta con el uso.
  • Un pico de tráfico es un pico de gasto, sin aviso.
riesgo: que el éxito salga caro

Por hora

Endpoints de SageMaker · Azure ML · Vertex
  • Se paga la instancia mientras está levantada.
  • Cuesta lo mismo con 10 peticiones que con 10.000.
  • La factura es plana y previsible.
  • Hay que acordarse de apagarlo.
riesgo: pagar meses por algo que nadie usa

El segundo riesgo es el que de verdad muerde a quien está aprendiendo. Un endpoint desplegado para una prueba de media tarde sigue facturando en septiembre si nadie lo borra, y no manda ningún aviso: no hay error, no hay log, solo una línea en la factura. Por eso los pasos de limpieza de la guía llevan la advertencia en mayúsculas.

// borra el endpoint al terminar: es la única parte del tutorial que cuesta dinero
02 — El cruce
Dónde deja de compensar cada uno

Las dos curvas se cruzan, y la forma del argumento es lo que hay que retener: una tarifa plana se amortiza con volumen y una por uso no. A poco tráfico, pagar por token es casi gratis y mantener una instancia encendida es absurdo; a mucho tráfico, la tarifa plana se reparte entre tantas peticiones que el coste unitario se desploma.

La guía ilustra el cruce con un clasificador de tickets y estas cifras, que presenta sin mostrar la aritmética ni la fecha:

EnfoqueCoste mensual declarado (10.000 tickets)Lo que la tabla no dice
Modelo propio en un endpoint~$50Es el mismo $50 con 10 tickets que con 10.000
Pasarela, modelo económico~$15Escala en línea recta: 100.000 tickets son ~$150
Pasarela + fine-tuning~$20 + coste de ajusteEl «coste de ajuste» no se cuantifica

Su conclusión —poco volumen, pasarela; mucho volumen, modelo propio— se sostiene. Las cifras concretas no se pueden usar: no hay fecha, no hay desglose y los precios de ambas columnas cambian varias veces al año. Lo reutilizable es el método: estima tokens por petición, multiplica por peticiones al mes, y compáralo con el precio por hora de la instancia más pequeña que aguante tu latencia.

03 — Lo que falta
Las partidas que ninguna comparativa incluye
PartidaA quién afectaPor qué se olvida
Etiquetar los datosSolo al modelo propioEs trabajo de personas, no una línea de factura
Entrenar y reentrenarSolo al modelo propioSe paga a saltos, no todos los meses
Almacenamiento de datos y artefactosSobre todo al modelo propioEs barato por unidad y se acumula en silencio
Tiempo de ingeniería para mantenerloAl modelo propio, mucho másNo aparece en ninguna calculadora de la nube
El endpoint de pruebas olvidadoA cualquieraNadie lo planifica: por eso pasa

Sumadas, estas partidas desplazan el punto de cruce bastante más arriba de lo que sugiere una comparación de precios de cómputo. La propia guía reconoce «necesitas datos etiquetados» como desventaja del modelo propio y no le pone precio — y suele ser la partida más cara de todas.

Auditoría La guía usa la palabra «serverless» para tres cosas distintas, en la misma tabla: Bedrock como «totalmente serverless» (pago por token, cero en reposo), el Serverless Compute de Azure ML (cómputo efímero que se paga mientras dura el job) y los Managed Online Endpoints con escalado «automático» (una instancia encendida que se paga por hora). Solo el primero cuesta cero sin tráfico. La prueba está en su propio código de limpieza — # Eliminar endpoint (IMPORTANTE - cuesta dinero si queda activo) — que contradice la tabla dos páginas antes sin señalarlo. Antes de creerte la etiqueta, haz la pregunta que la resuelve: si no llega ni una petición en todo el mes, ¿cuánto cuesta esto? Si la respuesta no es cero, es un servidor con otro nombre.
Para hacer
Tu propia curva de cruce

Coge un caso tuyo y haz dos números. Uno: tokens de entrada y salida por petición (mídelos, no los estimes) por el precio actual del modelo que usarías, por peticiones al mes. Dos: el precio por hora de la instancia más pequeña que aguante tu latencia, por 730 horas.

Divide el segundo entre el coste por petición del primero y tendrás el volumen mensual al que se cruzan. Compáralo con tu tráfico real. Si estás un orden de magnitud por debajo del cruce —y casi siempre lo estás— la decisión está tomada, y todo el trabajo de entrenar un modelo propio habría sido para ahorrar dinero que no estabas gastando.