LLMの温度をわかりやすく解説! 温度は、LLM 推論における重要なサンプリング パラメーターです。今日は、それが何を意味するのか、そして実際にどのように機能するかを紹介します。 まず、OpenAI GPT-3.5 に低温値を 2 回表示することから始めましょう。 LLM から同一の応答を生成することが観察されます。 これがいいと思います👇 次に、高い温度値でプロンプトを出しましょう。 今回は意味不明な出力を生成します。以下の出力を確認してください。 ここで何が起こっているのでしょうか?🤔 飛び込んでみましょう...👇 テキスト生成 LLM は、語彙全体にまたがる出力レイヤーを備えた分類モデルのようなものです。 ただし、最もスコアの高いトークンを選択する代わりに、予測から「サンプリング」します。 このサンプリングは、softmax関数を微調整するTemperatureパラメータによって制御されます。 これがいいと思います👇 温度は、確率分布の動作を制御します。 ❗️低温では、確率が急激にピークに達し、サンプリングがほぼ貪欲になります。ほとんどの場合、最もスコアの高いトークンが選択されます。 ...