To mój ostatni tydzień w @AIatMeta. To była trudna decyzja, aby nie kontynuować w nowym laboratorium Superintelligence TBD, zwłaszcza biorąc pod uwagę talent i gęstość obliczeniową. Ale po 7,5 roku w Google Brain, DeepMind i Meta, poczułem potrzebę podjęcia innego rodzaju ryzyka. Propozycja od Marka i @alexandr_wang, aby dołączyć do zespołu Superintelligence, była niezwykle przekonująca. Ale ostatecznie postanowiłem podążać za radą Marka: „W świecie, który zmienia się tak szybko, największym ryzykiem, jakie możesz podjąć, jest niepodjęcie żadnego ryzyka”. W moim krótkim czasie w Meta, rzeczywiście przesunęliśmy granice w zakresie post-treningu dla modeli "myślących". Konkretnie: - Prowadzenie modelu o gęstości 8B do wydajności bliskiej Deepseek-R1 z wykorzystaniem skalowania RL. - Używanie danych syntetycznych w trakcie treningu, aby rozpocząć RL na nowo. - Opracowywanie lepszych metod destylacji on-policy. Naprawdę cieszyłem się z pracy z @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo i Yanjun.