Температура в LLM, четко объясненная! Температура — это ключевой параметр выборки в выводе LLM. Сегодня я покажу вам, что это значит и как это на самом деле работает. Давайте начнем с того, чтобы дважды запросить OpenAI GPT-3.5 с низким значением температуры. Мы наблюдаем, что он выдает идентичные ответы от LLM. Посмотрите на это👇 Теперь давайте запросим его с высоким значением температуры. На этот раз он выдает бессмысленный вывод. Посмотрите на вывод ниже. Что здесь происходит? 🤔 Давайте углубимся в это!...👇 Модели LLM для генерации текста похожи на модели классификации с выходным слоем, охватывающим весь словарь. Однако вместо того, чтобы выбирать токен с наивысшим баллом, они "выбирают" из предсказаний. Эта выборка контролируется параметром Температуры, который настраивает функцию softmax. Посмотрите на это👇 Температура контролирует, как ведет себя распределение вероятностей. ❗️При низких температурах вероятности становятся резко выраженными, что делает выборку почти жадной; токен с наивысшим баллом почти всегда выбирается. ...