Vamos ajustar o OpenAI gpt-oss (100% localmente):

Hoje, vamos aprender como ajustar o gpt-oss mais recente da OpenAI localmente. Vamos dar-lhe capacidades de raciocínio multilingue, como mostrado no vídeo. Vamos usar: - @UnslothAI para um ajuste eficiente. - @huggingface transformers para executá-lo localmente. Vamos começar!

1️⃣ Carregar o modelo Começamos por carregar o modelo gpt-oss (variante 20B) e o seu tokenizer usando o Unsloth. Verifique isto 👇

2️⃣ Definir configuração LoRA Usaremos LoRA para um ajuste fino eficiente. Para fazer isso, usamos o PEFT do Unsloth e especificamos: - O modelo - LoRA de baixa classificação (r) - Camadas para ajuste fino, etc. Verifique este código 👇

3️⃣ Carregar conjunto de dados Vamos ajustar o gpt-oss e ajudá-lo a desenvolver capacidades de raciocínio multilingues. Assim, carregamos o conjunto de dados de pensamento multilingue, que tem: - Consulta do usuário em inglês. - Raciocínio em diferentes idiomas. - Resposta em inglês. Verifique isto 👇

4️⃣ Preparar o conjunto de dados Antes de fazer o fine-tuning, devemos preparar o conjunto de dados num formato de conversa: - Padronizamos o conjunto de dados. - Selecionamos o campo das mensagens. - Aplicamos o template de chat a ele. Verifique o código e uma amostra de dados 👇

5️⃣ Definir Treinador Aqui, criamos um objeto Treinador especificando a configuração de treinamento, como taxa de aprendizado, modelo, tokenizador e mais. Confira isto 👇

6️⃣ Treinar Com isso feito, iniciamos o treinamento. A perda está geralmente a diminuir com os passos, o que significa que o modelo está a ser ajustado corretamente. Verifique este código e os registos de treinamento 👇

Finalmente, o vídeo mostra como solicitar o LLM antes e depois do ajuste fino. Após o ajuste fino, o modelo é capaz de gerar os tokens de raciocínio em francês antes de gerar a resposta final em inglês. Verifique isto 👇

É isso! Se achou útil, compartilhe com sua rede. Me encontre → @_avichawla Todos os dias, compartilho tutoriais e insights sobre DS, ML, LLMs e RAGs.