LLM中的溫度，清楚解釋！ 溫度是LLM推理中的一個關鍵取樣參數。今天我將向你展示它的含義以及它實際是如何運作的。 讓我們先用低溫度值兩次提示OpenAI GPT-3.5。 我們觀察到它產生了相同的回應。 看看這個👇 現在，讓我們用高溫度值提示它。 這次，它產生了無意義的輸出。查看下面的輸出。 這裡發生了什麼？🤔 讓我們深入了解！...👇 文本生成的LLM就像是具有整個詞彙表的輸出層的分類模型。 然而，它們不是選擇得分最高的標記，而是從預測中進行“取樣”。 這種取樣由溫度參數控制，該參數調整softmax函數。 看看這個👇 溫度控制概率分佈的行為。 ❗️在低溫度下，概率變得尖銳集中，使得取樣幾乎是貪婪的；得分最高的標記幾乎總是被選擇。 ...