¡Temperatura en LLMs, claramente explicada! La temperatura es un parámetro clave de muestreo en la inferencia de LLM. Hoy te mostraré lo que significa y cómo funciona realmente. Comencemos pidiendo a OpenAI GPT-3.5 con un valor de temperatura bajo dos veces. Observamos que produce respuestas idénticas del LLM. Mira esto👇 Ahora, pidámosle con un valor de temperatura alto. Esta vez, produce una salida incomprensible. Mira la salida a continuación. ¿Qué está pasando aquí? 🤔 ¡Vamos a profundizar!...👇 Los LLMs generadores de texto son como modelos de clasificación con una capa de salida que abarca todo el vocabulario. Sin embargo, en lugar de seleccionar el token con la puntuación más alta, "muestran" de las predicciones. Este muestreo está controlado por el parámetro de Temperatura, que ajusta la función softmax. Mira esto👇 La temperatura controla cómo se comporta la distribución de probabilidad. ❗️A bajas temperaturas, las probabilidades se vuelven agudamente pronunciadas, haciendo que el muestreo sea casi codicioso; el token con la puntuación más alta es casi siempre elegido. ...