Температура в ЛМ, наочно пояснена! Температура є ключовим параметром вибірки у висновуванні LLM. Сьогодні я покажу вам, що це означає і як це насправді працює. Почнемо з того, що двічі запропонуємо OpenAI GPT-3.5 зі значенням низької температури. Ми спостерігаємо, що він виробляє ідентичні відповіді від LLM. Перевірте👇 це Тепер давайте підкажемо йому високе значення температури. Цього разу він виробляє тарабарщину на виході. Перевірте результат нижче. Що тут відбувається? 🤔 Давайте розберемося... 👇 LLM, що генерують текст, схожі на моделі класифікації з вихідним шаром, що охоплює весь словник. Однак замість того, щоб вибрати токен з найвищим балом, вони «беруть зразки» з прогнозів. Ця дискретизація контролюється параметром Temperature, який налаштовує функцію softmax. Перевірте👇 це Температура контролює, як поводиться розподіл ймовірностей. ❗️При низьких температурах ймовірності різко досягають піку, що робить відбір проб майже жадібним; Майже завжди вибирають токен з найвищим балом. ...