Det här är min sista vecka på @AIatMeta. Det var ett tufft beslut att inte fortsätta med det nya superintelligens-TBD-labbet, särskilt med tanke på talangen och beräkningsdensiteten. Men efter 7,5 år på Google Brain, DeepMind och Meta kände jag att jag ville ta en annan typ av risk. Pitchen från Mark och @alexandr_wang att bygga in Superintelligence-teamet var otroligt övertygande. Men jag väljer i slutändan att följa Marks egna råd: "I en värld som förändras så snabbt är den största risken du kan ta att inte ta någon risk". Under min korta tid på Meta tänjde vi på gränserna när det gäller efterträning för "tänkande" modeller. Specifikt: - Pusha en 8B-kompakt modell till nära Deepseek-R1-prestanda med RL-skalning. - Använda syntetisk data mitt i träningen för att varmstarta RL. - Utveckla bättre destillationsmetoder enligt politiken. Gillade verkligen att arbeta med @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo och Yanjun.