Esta técnica simples pode escalar o treinamento de 1 a 1000+ GPUs. - A OpenAI usa isso para treinar modelos GPT - O Google usa isso em seus TPUs para treinar o Gemini - A Meta usa isso para treinar Llamas em enormes clusters de GPU Vamos aprender como sincronizar GPUs no treinamento multi-GPU (com visuais):
130,15K