Temperatuur in LLM's, duidelijk uitgelegd! Temperatuur is een belangrijke samplingparameter in LLM-inferentie. Vandaag laat ik je zien wat het betekent en hoe het eigenlijk werkt. Laten we beginnen met het aanroepen van OpenAI GPT-3.5 met een lage temperatuurwaarde, twee keer. We observeren dat het identieke reacties van de LLM produceert. Bekijk dit👇 Nu, laten we het aanroepen met een hoge temperatuurwaarde. Deze keer produceert het onzinoutput. Bekijk de output hieronder. Wat is hier aan de hand? 🤔 Laten we erin duiken!...👇 Tekstgenererende LLM's zijn als classificatiemodellen met een outputlaag die de hele woordenschat beslaat. Echter, in plaats van de hoogst scorende token te selecteren, "sample" ze uit de voorspellingen. Deze sampling wordt gecontroleerd door de Temperatuurparameter, die de softmax-functie aanpast. Bekijk dit👇 Temperatuur controleert hoe de waarschijnlijkheidsverdeling zich gedraagt. ❗️Bij lage temperaturen worden waarschijnlijkheden scherp gepiekt, waardoor sampling bijna hebzuchtig wordt; de hoogst scorende token wordt bijna altijd gekozen. ...