Đây là tuần cuối cùng của tôi tại @AIatMeta. Đây là một quyết định khó khăn khi không tiếp tục với phòng thí nghiệm Superintelligence TBD mới, đặc biệt là khi xem xét tài năng và mật độ tính toán. Nhưng sau 7,5 năm làm việc tại Google Brain, DeepMind và Meta, tôi cảm thấy cần phải chấp nhận một loại rủi ro khác. Lời mời từ Mark và @alexandr_wang để xây dựng trong đội ngũ Superintelligence thật sự rất hấp dẫn. Nhưng cuối cùng tôi chọn theo lời khuyên của chính Mark: "Trong một thế giới đang thay đổi nhanh chóng như vậy, rủi ro lớn nhất mà bạn có thể chấp nhận là không chấp nhận bất kỳ rủi ro nào". Trong thời gian ngắn ngủi tại Meta, chúng tôi đã đẩy ranh giới về huấn luyện sau cho các mô hình "suy nghĩ". Cụ thể: - Đẩy một mô hình dày 8B đến gần hiệu suất Deepseek-R1 với việc mở rộng RL. - Sử dụng dữ liệu tổng hợp giữa quá trình huấn luyện để khởi động lại RL. - Phát triển các phương pháp chưng cất chính sách tốt hơn. Thật sự rất thích làm việc với @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo, và Yanjun.