#generacion

Prompt Engineering + Primeros Pasos con OpenAI

Prompting para código

Plantillas de prompting específicas para las 5 fases del trabajo con código: generación, refactoring, testing, debugging y documentación — cada una necesita un tipo de información distinto para funcionar.

prompting-codigo
generacion
refactoring
testing
debugging
documentacion

Modelos Open Source: HuggingFace Ecosystem

Muestreo: cómo se elige el token siguiente

Los parámetros de generación no cambian el modelo: cambian la política que convierte los logits en un token. do_sample manda sobre todo lo demás, temperature/top_k/top_p se aplican en cadena, y max_length no es max_new_tokens.

generacion
muestreo
temperature
top-k
top-p
decodificacion

Modelos Open Source: HuggingFace Ecosystem

La plantilla de chat y los tokens especiales

Un modelo de chat sigue siendo un completador de texto: la lista de mensajes con roles se traduce a una cadena con delimitadores propios de ese modelo. apply_chat_template, add_generation_prompt y por qué ningún split escrito a mano sobrevive a un cambio de modelo.

chat-template
tokenizador
tokens-especiales
generacion
huggingface