¡Temperatura en LLM, claramente explicada! La temperatura es un parámetro de muestreo clave en la inferencia de LLM. Hoy te mostraré lo que significa y cómo funciona realmente. Comencemos solicitando OpenAI GPT-3.5 con un valor de temperatura bajo dos veces. Observamos que produce respuestas idénticas del LLM. Mira esto👇 Ahora, vamos a indicarle un valor de temperatura alto. Esta vez, produce una salida incoherente. Verifique el resultado a continuación. ¿Qué está pasando aquí? 🤔 Vamos a sumergirnos... 👇 Los LLM generadores de texto son como modelos de clasificación con una capa de salida que abarca todo el vocabulario. Sin embargo, en lugar de seleccionar el token con la puntuación más alta, "muestrean" las predicciones. Este muestreo está controlado por el parámetro Temperature, que modifica la función softmax. Mira esto👇 La temperatura controla cómo se comporta la distribución de probabilidad. ❗️A bajas temperaturas, las probabilidades alcanzan picos bruscos, lo que hace que el muestreo sea casi codicioso; Casi siempre se elige el token con la puntuación más alta. ...