Hãy tinh chỉnh OpenAI gpt-oss (100% tại chỗ):

Hôm nay, hãy cùng học cách tinh chỉnh gpt-oss mới nhất của OpenAI tại chỗ. Chúng ta sẽ trang bị cho nó khả năng lý luận đa ngôn ngữ như đã thấy trong video. Chúng ta sẽ sử dụng: - @UnslothAI để tinh chỉnh hiệu quả. - @huggingface transformers để chạy nó tại chỗ. Hãy bắt đầu nào!

1️⃣ Tải mô hình Chúng ta bắt đầu bằng cách tải mô hình gpt-oss (biến thể 20B) và bộ mã hóa của nó bằng cách sử dụng Unsloth. Kiểm tra điều này 👇

2️⃣ Định nghĩa cấu hình LoRA Chúng ta sẽ sử dụng LoRA để tinh chỉnh hiệu quả. Để làm điều này, chúng ta sử dụng PEFT của Unsloth và chỉ định: - Mô hình - LoRA hạng thấp (r) - Các lớp để tinh chỉnh, v.v. Kiểm tra mã này 👇

3️⃣ Tải dữ liệu Chúng tôi sẽ tinh chỉnh gpt-oss và giúp nó phát triển khả năng lý luận đa ngôn ngữ. Vì vậy, chúng tôi tải bộ dữ liệu tư duy đa ngôn ngữ, bao gồm: - Truy vấn của người dùng bằng tiếng Anh. - Lý luận bằng các ngôn ngữ khác nhau. - Phản hồi bằng tiếng Anh. Kiểm tra điều này 👇

4️⃣ Chuẩn bị tập dữ liệu Trước khi tinh chỉnh, chúng ta phải chuẩn bị tập dữ liệu ở định dạng hội thoại: - Chúng ta chuẩn hóa tập dữ liệu. - Chúng ta chọn trường tin nhắn. - Chúng ta áp dụng mẫu trò chuyện cho nó. Kiểm tra mã và một mẫu dữ liệu 👇

5️⃣ Định nghĩa Trainer Tại đây, chúng tôi tạo một đối tượng Trainer bằng cách chỉ định cấu hình đào tạo, như tốc độ học, mô hình, bộ mã hóa và nhiều hơn nữa. Xem cái này 👇

6️⃣ Đào tạo Khi đã hoàn tất, chúng ta bắt đầu quá trình đào tạo. Mức tổn thất thường giảm dần theo từng bước, điều này có nghĩa là mô hình đang được tinh chỉnh đúng cách. Kiểm tra mã này và nhật ký đào tạo 👇

Cuối cùng, video cho thấy việc nhắc nhở LLM trước và sau khi tinh chỉnh. Sau khi tinh chỉnh, mô hình có khả năng tạo ra các token lý luận bằng tiếng Pháp trước khi tạo ra phản hồi cuối cùng bằng tiếng Anh. Kiểm tra điều này 👇

Đến đây là kết thúc! Nếu bạn thấy nó hữu ích, hãy chia sẻ lại với mạng lưới của bạn. Tìm tôi → @_avichawla Mỗi ngày, tôi chia sẻ các hướng dẫn và thông tin về DS, ML, LLMs và RAGs.