Nghiên cứu đào tạo phân tán trên các cụm GPU vật lý diễn ra chậm chạp và đau đớn. Chúng tôi đã gặp phải vấn đề này tại @exolabs nên đã xây dựng EXO Gym, một thư viện để mô phỏng các cụm tính toán không đồng nhất và nhanh chóng, dễ dàng thực hiện các thí nghiệm nghiên cứu ở bất kỳ quy mô nào trên một chiếc MacBook.