درجة الحرارة في LLMs ، موضحة بوضوح! درجة الحرارة هي معلمة رئيسية لأخذ العينات في استدلال LLM. سأوضح لك اليوم ما يعنيه وكيف يعمل بالفعل. لنبدأ بالمطالبة ب OpenAI GPT-3.5 بقيمة درجة حرارة منخفضة مرتين. نلاحظ أنه ينتج استجابات متطابقة من LLM. تحقق من هذا👇 الآن ، دعنا ندفعها بقيمة درجة حرارة عالية. هذه المرة ، ينتج إخراج رطانة. تحقق من الإخراج أدناه. ما الذي يحدث هنا؟ 🤔 دعنا نتعمق في... 👇 تشبه LLMs التي تولد النصوص نماذج التصنيف مع طبقة إخراج تغطي المفردات بأكملها. ومع ذلك ، بدلا من اختيار الرمز المميز الأعلى درجا، فإنهم "يأخذون عينة" من التوقعات. يتم التحكم في أخذ العينات هذا بواسطة معلمة درجة الحرارة ، والتي تقوم بتعديل وظيفة softmax. تحقق من هذا👇 تتحكم درجة الحرارة في كيفية تصرف توزيع الاحتمال. ❗️في درجات الحرارة المنخفضة ، تصبح الاحتمالات ذروتها بشكل حاد ، مما يجعل أخذ العينات جشعا تقريبا. يتم اختيار الرمز المميز الأعلى تسجيلا دائما تقريبا. ...