Température dans les LLMs, clairement expliquée ! La température est un paramètre clé d'échantillonnage dans l'inférence des LLM. Aujourd'hui, je vais vous montrer ce que cela signifie et comment cela fonctionne réellement. Commençons par interroger OpenAI GPT-3.5 avec une valeur de température basse deux fois. Nous observons qu'il produit des réponses identiques du LLM. Regardez ça👇 Maintenant, interrogeons-le avec une valeur de température élevée. Cette fois, il produit une sortie incompréhensible. Vérifiez la sortie ci-dessous. Que se passe-t-il ici ? 🤔 Plongeons-nous dedans !...👇 Les LLMs générateurs de texte sont comme des modèles de classification avec une couche de sortie couvrant tout le vocabulaire. Cependant, au lieu de sélectionner le token le mieux noté, ils "échantillonnent" parmi les prédictions. Cet échantillonnage est contrôlé par le paramètre de Température, qui ajuste la fonction softmax. Regardez ça👇 La température contrôle le comportement de la distribution de probabilité. ❗️À basse température, les probabilités deviennent fortement concentrées, rendant l'échantillonnage presque avide ; le token le mieux noté est presque toujours choisi. ...