Temperatura nei LLM, spiegata chiaramente! La temperatura è un parametro chiave di campionamento nell'inferenza dei LLM. Oggi ti mostrerò cosa significa e come funziona realmente. Iniziamo chiedendo a OpenAI GPT-3.5 un valore di temperatura basso due volte. Osserviamo che produce risposte identiche dal LLM. Guarda questo👇 Ora, chiediamogli un valore di temperatura alto. Questa volta, produce un output incomprensibile. Controlla l'output qui sotto. Cosa sta succedendo qui? 🤔 Approfondiamo!...👇 I LLM che generano testo sono come modelli di classificazione con uno strato di output che copre l'intero vocabolario. Tuttavia, invece di selezionare il token con il punteggio più alto, "campionano" dalle previsioni. Questo campionamento è controllato dal parametro Temperatura, che modifica la funzione softmax. Guarda questo👇 La temperatura controlla come si comporta la distribuzione di probabilità. ❗️A basse temperature, le probabilità diventano nettamente picchiate, rendendo il campionamento quasi avido; il token con il punteggio più alto è quasi sempre scelto. ...