Temperatur i LLM-er, tydelig forklart! Temperatur er en viktig prøvetakingsparameter i LLM-inferens. I dag skal jeg vise deg hva det betyr og hvordan det faktisk fungerer. La oss starte med å be OpenAI GPT-3.5 med en lav temperaturverdi to ganger. Vi observerer at det gir identiske svar fra LLM. Sjekk dette ut👇 La oss nå be om det med en høy temperaturverdi. Denne gangen produserer den volapyk. Sjekk utgangen nedenfor. Hva er det som skjer her? 🤔 La oss dykke inn... 👇 Tekstgenererende LLM-er er som klassifiseringsmodeller med et utdatalag som spenner over hele vokabularet. Men i stedet for å velge tokenet med høyest poengsum, "sampler" de fra spådommene. Denne prøvetakingen styres av temperaturparameteren, som justerer softmax-funksjonen. Sjekk dette ut👇 Temperaturen styrer hvordan sannsynlighetsfordelingen oppfører seg. ❗️Ved lave temperaturer blir sannsynlighetene kraftig toppet, noe som gjør prøvetaking nesten grådig; Det høyest scorende tokenet velges nesten alltid. ...