la plupart des gens ne réalisent pas que la température ne fait qu'ajuster la vitesse du ventilateur sur le cluster GPU qui vous sert.
gojo
gojo15 août, 23:20
Je parlais littéralement à ce "chercheur LLM" au sujet du réglage de la température dans les LLM et j'ai demandé, tu sais pourquoi abaisser ou augmenter la température entraîne des sorties plus déterministes ou aléatoires, n'est-ce pas ? Et il a dit ouais, ça change la façon dont les tokens sont représentés. Mec, wtf, les gens DANS le putain de domaine n'ont aucune idée des statistiques de Boltzmann ou même de softmax. Je vais pleurer.
325