Temperatura em LLMs, claramente explicada! A temperatura é um parâmetro de amostragem chave na inferência LLM. Hoje vou mostrar o que significa e como realmente funciona. Vamos começar solicitando ao OpenAI GPT-3.5 um valor de temperatura baixa duas vezes. Observamos que produz respostas idênticas do LLM. Confira isso👇 Agora, vamos solicitá-lo com um valor de temperatura alto. Desta vez, produz uma saída sem sentido. Confira a saída abaixo. O que está acontecendo aqui? 🤔 Vamos mergulhar... 👇 Os LLMs geradores de texto são como modelos de classificação com uma camada de saída que abrange todo o vocabulário. No entanto, em vez de selecionar o token de maior pontuação, eles "amostram" as previsões. Essa amostragem é controlada pelo parâmetro Temperature, que ajusta a função softmax. Confira isso👇 A temperatura controla como a distribuição de probabilidade se comporta. ❗️Em baixas temperaturas, as probabilidades atingem um pico acentuado, tornando a amostragem quase gananciosa; O token de maior pontuação é quase sempre escolhido. ...