Suhu dalam LLM, dijelaskan dengan jelas! Suhu adalah parameter pengambilan sampel utama dalam inferensi LLM. Hari ini saya akan menunjukkan kepada Anda apa artinya dan bagaimana cara kerjanya. Mari kita mulai dengan meminta OpenAI GPT-3.5 dengan nilai suhu rendah dua kali. Kami mengamati bahwa itu menghasilkan respons yang identik dari LLM. Lihat👇 ini Sekarang, mari kita minta dengan nilai suhu tinggi. Kali ini, menghasilkan output omong kosong. Periksa output di bawah ini. Apa yang terjadi di sini? 🤔 Mari kita selami ... 👇 LLM penghasil teks seperti model klasifikasi dengan lapisan output yang mencakup seluruh kosakata. Namun, alih-alih memilih token dengan skor tertinggi, mereka "mengambil sampel" dari prediksi. Pengambilan sampel ini dikendalikan oleh parameter Suhu, yang mengubah fungsi softmax. Lihat👇 ini Suhu mengontrol bagaimana distribusi probabilitas berperilaku. ❗️Pada suhu rendah, probabilitas menjadi sangat puncak, membuat pengambilan sampel hampir serakah; Token dengan skor tertinggi hampir selalu dipilih. ...