Muestreo: cómo se elige el token siguiente
6 etiquetas
← 07-modelos-open-source-huggingface
Los parámetros de generación no cambian el modelo: cambian la política que convierte los logits en un token. do_sample manda sobre todo lo demás, temperature/top_k/top_p se aplican en cadena, y max_length no es max_new_tokens.
- generacion
- muestreo
- temperature
- top-k
- top-p
- decodificacion