Temperatura w LLM-ach, jasno wyjaśniona! Temperatura to kluczowy parametr próbkowania w wnioskowaniu LLM. Dziś pokażę Ci, co to oznacza i jak to właściwie działa. Zacznijmy od podania OpenAI GPT-3.5 niskiej wartości temperatury dwa razy. Obserwujemy, że produkuje identyczne odpowiedzi z LLM. Sprawdź to👇 Teraz podamy mu wysoką wartość temperatury. Tym razem produkuje bełkotliwy wynik. Sprawdź wynik poniżej. Co się tutaj dzieje? 🤔 Zanurzmy się w to!...👇 Modele LLM generujące tekst są jak modele klasyfikacyjne z warstwą wyjściową obejmującą cały słownik. Jednak zamiast wybierać token o najwyższym wyniku, "próbkują" z prognoz. To próbkowanie jest kontrolowane przez parametr Temperatura, który dostosowuje funkcję softmax. Sprawdź to👇 Temperatura kontroluje, jak zachowuje się rozkład prawdopodobieństwa. ❗️ Przy niskich temperaturach prawdopodobieństwa stają się ostro szpiczaste, co sprawia, że próbkowanie jest niemal zachłanne; token o najwyższym wyniku jest prawie zawsze wybierany. ...