Ta prosta technika może skalować trening od 1 do 1000+ GPU. - OpenAI używa jej do trenowania modeli GPT - Google używa jej w swoich TPU do trenowania Geminiego - Meta używa jej do trenowania Llamas na ogromnych klastrach GPU Nauczmy się, jak synchronizować GPU w treningu wielo-GPU (z wizualizacjami):
130,13K