Dette er min siste uke på @AIatMeta. Det var en tøff avgjørelse å ikke fortsette med det nye Superintelligence TBD-laboratoriet, spesielt med tanke på talentet og datatettheten. Men etter 7,5 år på tvers av Google Brain, DeepMind og Meta, følte jeg dragningen til å ta på meg en annen type risiko. Pitchen fra og @alexandr_wang om å bygge inn Superintelligence-teamet var utrolig overbevisende. Men jeg velger til slutt å følge eget råd: "I en verden som endrer seg så raskt, er den største risikoen du kan ta å ikke ta noen risiko". I løpet av min korte tid hos Meta flyttet vi grensen for ettertrening for "tenkende" modeller. Spesifikt: - Skyver en 8B tett modell til nær Deepseek-R1-ytelse med RL-skalering. - Bruk av syntetiske data midt i treningen for å varme opp RL. - Utvikle bedre destillasjonsmetoder på politikken. Likte virkelig å jobbe med @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo og Yanjun.