State of the Art: AI Engineering en 2026
Arquitectura Transformer (Profundización)
Bloque Transformer completo, mecanismo Q/K/V, multi-head attention, encoder-decoder vs decoder-only, y detalles específicos de Llama 3.1 (RoPE, RMSNorm, SwiGLU, GQA).
- transformer
- self-attention
- llama
- arquitectura