Aceasta este ultima mea săptămână la @AIatMeta. A fost o decizie dificilă să nu continui cu noul laborator Superintelligence TBD, mai ales având în vedere talentul și densitatea de calcul. Dar după 7,5 ani în Google Brain, DeepMind și Meta, am simțit nevoia de a-mi asuma un alt tip de risc. Propunerea lui Mark și @alexandr_wang de a construi echipa Superintelligence a fost incredibil de convingătoare. Dar în cele din urmă aleg să urmez sfatul lui Mark: "Într-o lume care se schimbă atât de repede, cel mai mare risc pe care ți-l poți asuma este să nu-ți asumi niciun risc". În scurtul meu timp la Meta, am împins frontiera post-antrenamentului pentru modelele de "gândire". Special: - Împingerea unui model dens 8B la performanțe apropiate de Deepseek-R1 cu scalare RL. - Utilizarea datelor sintetice în mijlocul antrenamentului pentru a porni RL la cald. - Dezvoltarea unor metode mai bune de distilare în funcție de politică. Mi-a plăcut foarte mult să lucrez cu @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo și Yanjun.