Temperatura em LLMs, claramente explicada! A temperatura é um parâmetro de amostragem chave na inferência de LLM. Hoje vou mostrar o que isso significa e como realmente funciona. Vamos começar por solicitar ao OpenAI GPT-3.5 com um valor de temperatura baixo duas vezes. Observamos que ele produz respostas idênticas do LLM. Veja isso👇 Agora, vamos solicitar com um valor de temperatura alto. Desta vez, ele produz uma saída sem sentido. Veja a saída abaixo. O que está acontecendo aqui? 🤔 Vamos mergulhar nisso!...👇 Os LLMs geradores de texto são como modelos de classificação com uma camada de saída que abrange todo o vocabulário. No entanto, em vez de selecionar o token com a maior pontuação, eles "amostram" das previsões. Essa amostragem é controlada pelo parâmetro de Temperatura, que ajusta a função softmax. Veja isso👇 A temperatura controla como o comportamento da distribuição de probabilidade. ❗️Em temperaturas baixas, as probabilidades tornam-se acentuadamente picadas, tornando a amostragem quase gananciosa; o token com a maior pontuação é quase sempre escolhido. ...