Esta técnica simple puede escalar el entrenamiento de 1 a 1000+ GPU. - OpenAI lo usa para entrenar modelos GPT - Google lo usa en sus TPU para entrenar a Gemini - Meta lo usa para entrenar a Llamas en clústeres de GPU masivos Aprendamos a sincronizar GPU en el entrenamiento de varias GPU (con imágenes):
130.12K