Nhiệt độ trong LLMs, được giải thích rõ ràng! Nhiệt độ là một tham số lấy mẫu chính trong suy diễn LLM. Hôm nay tôi sẽ cho bạn thấy nó có nghĩa là gì và nó thực sự hoạt động như thế nào. Hãy bắt đầu bằng cách yêu cầu OpenAI GPT-3.5 với một giá trị nhiệt độ thấp hai lần. Chúng ta quan sát rằng nó tạo ra các phản hồi giống hệt nhau từ LLM. Xem cái này👇 Bây giờ, hãy yêu cầu nó với một giá trị nhiệt độ cao. Lần này, nó tạo ra đầu ra vô nghĩa. Kiểm tra đầu ra bên dưới. Chuyện gì đang xảy ra ở đây? 🤔 Hãy cùng tìm hiểu!...👇 Các LLM tạo văn bản giống như các mô hình phân loại với một lớp đầu ra trải dài toàn bộ từ vựng. Tuy nhiên, thay vì chọn token có điểm số cao nhất, chúng "lấy mẫu" từ các dự đoán. Việc lấy mẫu này được kiểm soát bởi tham số Nhiệt độ, điều chỉnh hàm softmax. Xem cái này👇 Nhiệt độ kiểm soát cách mà phân phối xác suất hoạt động. ❗️Ở nhiệt độ thấp, xác suất trở nên sắc nét, khiến việc lấy mẫu gần như tham lam; token có điểm số cao nhất gần như luôn được chọn. ...