Ini adalah minggu terakhir saya di @AIatMeta. Itu adalah keputusan yang sulit untuk tidak melanjutkan dengan lab TBD Superintelligence yang baru, terutama mengingat bakat dan kepadatan komputasi. Tetapi setelah 7,5 tahun di Google Brain, DeepMind, dan Meta, saya merasakan tarikan untuk mengambil risiko yang berbeda. Pitch dari Mark dan @alexandr_wang untuk membangun tim Superintelligence sangat menarik. Tetapi pada akhirnya saya memilih untuk mengikuti saran Mark sendiri: "Di dunia yang berubah begitu cepat, risiko terbesar yang dapat Anda ambil adalah tidak mengambil risiko apa pun". Dalam waktu singkat saya di Meta, kami mendorong batas pasca-pelatihan untuk model "berpikir". Khusus: - Mendorong model padat 8B ke mendekati kinerja Deepseek-R1 dengan penskalaan RL. - Menggunakan data sintetis di tengah pelatihan untuk memulai RL dengan hangat. - Mengembangkan metode distilasi kebijakan yang lebih baik. Sangat menikmati bekerja dengan @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo, dan Yanjun.