Laten we OpenAI gpt-oss (100% lokaal) verfijnen:

Laten we vandaag leren hoe we OpenAI's nieuwste gpt-oss lokaal kunnen afstemmen. We zullen het meertalige redeneervaardigheden geven zoals te zien is in de video. We zullen gebruiken: - @UnslothAI voor efficiënte afstemming. - @huggingface transformers om het lokaal uit te voeren. Laten we beginnen!

1️⃣ Laad het model We beginnen met het laden van het gpt-oss (20B variant) model en zijn tokenizer met behulp van Unsloth. Controleer dit 👇

2️⃣ Definieer LoRA-configuratie We zullen LoRA gebruiken voor efficiënte fine-tuning. Om dit te doen, gebruiken we Unsloth's PEFT en specificeren we: - Het model - LoRA low-rank (r) - Lagen voor fine-tuning, enz. Bekijk deze code 👇

3️⃣ Laad dataset We zullen gpt-oss verfijnen en helpen het meertalige redeneervaardigheden te ontwikkelen. Dus we laden de meertalige denkdataset, die heeft: - Gebruikersvraag in het Engels. - Redenering in verschillende talen. - Antwoord in het Engels. Bekijk dit 👇

4️⃣ Bereid dataset voor Voordat we gaan fine-tunen, moeten we de dataset in een conversatieformaat voorbereiden: - We standaardiseren de dataset. - We kiezen het berichtenveld. - We passen de chattemplate toe. Bekijk de code en een datamonster 👇

5️⃣ Definieer Trainer Hier creëren we een Trainer-object door de trainingsconfiguratie op te geven, zoals leersnelheid, model, tokenizer en meer. Bekijk dit 👇

6️⃣ Train Als dat gedaan is, starten we de training. Het verlies neemt over het algemeen af met de stappen, wat betekent dat het model correct wordt bijgesteld. Controleer deze code en trainingslogs 👇

Uiteindelijk toont de video het aanroepen van de LLM voor en na de fine-tuning. Na de fine-tuning is het model in staat om de redeneertokens in het Frans te genereren voordat het de uiteindelijke reactie in het Engels genereert. Bekijk dit 👇

Dat is een wrap! Als je het waardevol vond, deel het dan opnieuw met je netwerk. Vind me → @_avichawla Elke dag deel ik tutorials en inzichten over DS, ML, LLM's en RAG's.