Temperatur i LLM, tydligt förklarat! Temperatur är en viktig provtagningsparameter i LLM-inferens. Idag ska jag visa er vad det betyder och hur det faktiskt fungerar. Låt oss börja med att uppmana OpenAI GPT-3.5 med ett lågt temperaturvärde två gånger. Vi observerar att det ger identiska svar från LLM. Kolla in det här👇 Låt oss nu fråga det med ett högt temperaturvärde. Den här gången producerar den rappakalja. Kontrollera utdata nedan. Vad är det som händer här? 🤔 Låt oss dyka in... 👇 Textgenererande LLM:er är som klassificeringsmodeller med ett utdatalager som sträcker sig över hela vokabulären. Men i stället för att välja den token som får högst poäng "provar" de från förutsägelserna. Den här samplingen styrs av temperaturparametern, som justerar softmax-funktionen. Kolla in det här👇 Temperaturen styr hur sannolikhetsfördelningen beter sig. ❗️Vid låga temperaturer blir sannolikheterna kraftigt toppade, vilket gör provtagningen nästan girig. Den token som får högst poäng väljs nästan alltid. ...