Chủ đề thịnh hành
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Arthur Douillard
Học tập phân tán @ deepmind | DiLoCo, DiPaCo. Tiến sĩ học tập liên tục @ Sorbonne
Arthur Douillard đã đăng lại
Tuyệt vời, thích thấy điều đó.
Một số câu hỏi trong đầu tôi:
* Cài đặt hệ thống nào sẽ ưu tiên giao tiếp thưa thớt hơn so với việc phát trực tiếp Diloco? Điều gì sẽ xảy ra nếu bạn kết hợp chúng?
* Liệu SparseLoCo có đạt được độ mất mát thấp hơn đôi khi là một hiện tượng ngẫu nhiên, hay chúng ta có thể thực hiện kiểm tra giả thuyết thực sự về kết quả này không?
* Phản hồi lỗi là một phép toán thiên lệch - có những phép toán thiên lệch khác nào có thể cải thiện tối ưu hóa bên ngoài không?
1,17K
Kết hợp tuyệt vời để tìm hiểu thêm về học phân tán với @MatharyCharles và @samsja19
02:24 19 thg 8
Tôi đã nói rằng tôi sẽ dồn hết sức để tìm cho bạn những diễn giả tốt nhất mà tôi có thể, và tôi đã nói thật.
Như một cuộc trò chuyện tuyệt vời với @samsja19 về DiLoCo từ góc độ ứng dụng, @MatharyCharles (tác giả chính của các quy luật mở rộng cho bài báo DiLoCo) sẽ có một bài nói về lý thuyết và những phát hiện gần đây trong lĩnh vực này!
1,78K
Hãy tưởng tượng âm thanh nhịp điệu của một trung tâm dữ liệu hoàn toàn thực hiện các phép toán tiến-lùi và AR trên hàng ngàn GPU.
Một cảnh tượng đáng chiêm ngưỡng, trung tâm dữ liệu đang thở!
05:10 16 thg 8
Tôi có thể nghe thấy rõ ràng những đường chuyền tiến lùi đang được thực hiện trên máy trạm bên cạnh ô của tôi từ âm thanh rít của cuộn GPU.
2,37K
Hãy tưởng tượng âm thanh nhịp nhàng của một trung tâm dữ liệu đang thực hiện tiến lùi & AR trên hàng ngàn GPU.
Một cảnh tượng đáng chiêm ngưỡng, trung tâm dữ liệu đang thở!
05:10 16 thg 8
Tôi có thể nghe thấy rõ ràng những đường chuyền tiến lùi đang được thực hiện trên máy trạm bên cạnh ô của tôi từ âm thanh rít của cuộn GPU.
96
Hãy tưởng tượng âm thanh nhịp nhàng của một trung tâm dữ liệu đang thực hiện tính toán tiến-lùi và AR trên hàng ngàn GPU.
Trung tâm dữ liệu đang thở!
05:10 16 thg 8
Tôi có thể nghe thấy rõ ràng những đường chuyền tiến lùi đang được thực hiện trên máy trạm bên cạnh ô của tôi từ âm thanh rít của cuộn GPU.
74
Vấn đề với "sự hiểu biết" trong học sâu là nó thực sự hiếm khi đúng trong thực tế, vì nó yêu cầu quá nhiều giả định đơn giản hóa.
Tôi thà có một mô hình SotA với một số trực giác về lý do tại sao nó hoạt động hơn là một mô hình đồ chơi với sự hiểu biết hoàn hảo 🤷
09:55 16 thg 8
Các loại phong cách nghiên cứu
1. Chỉ hiểu và hài lòng với điều đó
2. Xây dựng nhưng không hiểu
3. Hiểu rồi mới xây dựng.
3 là lý tưởng và có vẻ là tốt nhất nhưng thực tế 2 có thể rất mạnh mẽ với những năng lượng đúng đắn.
17,26K
AGI sẽ không tồn tại nếu không có cơ sở hạ tầng tốt nhất có thể.
Tôi rất khuyên bạn nên đăng ký vào PI.
22:38 15 thg 8
chúng tôi đang tuyển dụng các nhà nghiên cứu AI, kỹ sư, nhân viên phát triển, thực tập sinh, v.v. tại @PrimeIntellect
hãy liên hệ với tôi nếu bạn muốn làm việc trên AGI mở & cơ sở hạ tầng nghiên cứu tiên phong cho mọi người
112,02K
Hàng đầu
Thứ hạng
Yêu thích