Tato jednoduchá technika může škálovat trénink od 1 do 1000+ GPU. - OpenAI jej používá k trénování modelů GPT - Google jej používá ve svých TPU k trénování Gemini - Meta jej používá k trénování lam na masivních clusterech GPU Pojďme se naučit, jak synchronizovat GPU v trénování s více GPU (s vizuály):
130,11K