4 strategier för multi-GPU-träning: - Modell parallellitet - Tensorparallellitet - Parallellitet mellan data - Parallellitet i pipeline