Denna enkla teknik kan skala träning från 1-1000+ GPU:er. - OpenAI använder den för att träna GPT-modeller - Google använder det i sina TPU:er för att träna Gemini - Meta använder det för att träna lamor på massiva GPU-kluster Nu ska vi lära oss hur du synkroniserar GPU:er i träning med flera GPU:er (med visuella objekt):