Temperatura în LLM-uri, explicată clar! Temperatura este un parametru cheie de eșantionare în inferența LLM. Astăzi vă voi arăta ce înseamnă și cum funcționează de fapt. Să începem prin a solicita OpenAI GPT-3.5 cu o valoare scăzută a temperaturii de două ori. Observăm că produce răspunsuri identice de la LLM. Verificați👇 acest lucru Acum, să-l solicităm cu o valoare ridicată a temperaturii. De data aceasta, produce o ieșire fără sens. Verificați ieșirea de mai jos. Ce se întâmplă aici? 🤔 Să ne scufundăm... 👇 LLM-urile generatoare de text sunt ca modelele de clasificare cu un strat de ieșire care acoperă întregul vocabular. Cu toate acestea, în loc să selecteze tokenul cu cel mai mare scor, ei "eșantionează" din predicții. Această eșantionare este controlată de parametrul Temperatură, care modifică funcția softmax. Verificați👇 acest lucru Temperatura controlează modul în care se comportă distribuția de probabilitate. ❗️La temperaturi scăzute, probabilitățile devin puternice, făcând eșantionarea aproape lacomă; Tokenul cu cel mai mare scor este aproape întotdeauna ales. ...