Temperatur in LLMs, klar erklärt! Die Temperatur ist ein wichtiger Sampling-Parameter bei der LLM-Inferenz. Heute zeige ich dir, was das bedeutet und wie es tatsächlich funktioniert. Lass uns beginnen, indem wir OpenAI GPT-3.5 mit einem niedrigen Temperaturwert zweimal anstoßen. Wir beobachten, dass es identische Antworten vom LLM produziert. Sieh dir das an👇 Jetzt lass uns es mit einem hohen Temperaturwert anstoßen. Diesmal produziert es wirres Geschwafel. Sieh dir die Ausgabe unten an. Was ist hier los? 🤔 Lass uns eintauchen!...👇 Textgenerierende LLMs sind wie Klassifikationsmodelle mit einer Ausgabeschicht, die das gesamte Vokabular abdeckt. Statt jedoch das höchstbewertete Token auszuwählen, "sample" sie aus den Vorhersagen. Dieses Sampling wird durch den Temperaturparameter gesteuert, der die Softmax-Funktion anpasst. Sieh dir das an👇 Die Temperatur steuert, wie sich die Wahrscheinlichkeitsverteilung verhält. ❗️Bei niedrigen Temperaturen werden die Wahrscheinlichkeiten scharf ausgeprägt, was das Sampling nahezu gierig macht; das höchstbewertete Token wird fast immer gewählt. ...