Cette technique simple peut faire évoluer l'entraînement de 1 à 1000+ GPU. - OpenAI l'utilise pour entraîner les modèles GPT - Google l'utilise dans ses TPU pour entraîner Gemini - Meta l'utilise pour entraîner des Llamas sur d'énormes clusters GPU Apprenons à synchroniser les GPU dans l'entraînement multi-GPU (avec des visuels) :