Los dos son modelos visión-lenguaje y comparten la misma forma en dos piezas:
| Pieza | Qué hace |
|---|---|
| Encoder visual (CNN o ViT) | «Ve» la imagen y extrae características: formas, objetos, relaciones |
| Decoder textual (Transformer) | Toma esas características y escribe una secuencia de texto, palabra a palabra |
Por eso los dos se cargan con el mismo pipeline("image-to-text", model=...) y por
eso es tan fácil confundirlos: desde fuera tienen la misma interfaz. Lo que cambia es qué aprendió
a mirar el encoder y qué aprendió a escribir el decoder.
El material propone un experimento que vale más que la tabla: cruzarlos a propósito. Pásale a BLIP una imagen de texto manuscrito y a TrOCR una escena natural, y mira qué devuelve cada uno. Lo interesante no es que fallen, es cómo fallan: BLIP describirá algo así como «un papel con escritura» —una descripción correcta y completamente inútil— y TrOCR intentará leer letras donde no las hay.
// el modelo equivocado no calla: contesta con seguridad a otra pregunta| Síntoma | Causa habitual | Qué tocar |
|---|---|---|
| La descripción sale cortada a media frase | Techo de longitud demasiado bajo | max_new_tokens |
| El modelo repite palabras («cat cat cat») | Decodificación que se queda en bucle, típico con imágenes ambiguas | Penalización de repetición, o cambiar la imagen |
| El OCR falla en texto vertical | TrOCR espera texto horizontal | Rotar la imagen antes de pasarla |
| Aviso de «pesos no inicializados» al cargar | Normal: esas capas solo se usan al hacer fine-tuning | Nada. Es ruido, no un error |
Ese último merece atención porque asusta y no debería: al cargar un modelo para inferencia es normal que algunas capas —las que solo existen para entrenar— aparezcan sin inicializar. Aprender a distinguir un aviso de un error ahorra muchas horas, y este es el ejemplo canónico.
La generación condicional de BLIP, en cambio, es un mando que casi nadie usa y que cambia el
resultado por completo: si le pasas text="a photography of" como prefijo, la
descripción sigue por ahí. Sirve para forzar el registro —técnico, comercial, descriptivo— sin
reentrenar nada.
Coge dos imágenes tuyas: una escena cualquiera y una foto de algo escrito a mano. Pasa las dos por los dos modelos —cuatro combinaciones— y anota literalmente lo que devuelve cada una.
Las dos combinaciones correctas te enseñan poco, porque funcionan. Las dos cruzadas son la lección: verás que un modelo equivocado no avisa, contesta con la misma seguridad. Ese es el fallo que buscas reconocer en producción, donde nadie te dirá que preguntaste al modelo que no era.