Esta técnica simple puede escalar el entrenamiento de 1 a 1000+ GPUs. - OpenAI la utiliza para entrenar modelos GPT - Google la usa en sus TPUs para entrenar Gemini - Meta la utiliza para entrenar Llamas en enormes clústeres de GPU Aprendamos cómo sincronizar GPUs en el entrenamiento multi-GPU (con visuales):
130,13K