Dit is mijn laatste week bij @AIatMeta. Het was een moeilijke beslissing om niet door te gaan met het nieuwe Superintelligence TBD-lab, vooral gezien het talent en de rekenkracht. Maar na 7,5 jaar bij Google Brain, DeepMind en Meta, voelde ik de drang om een ander soort risico aan te gaan. De pitch van Mark en @alexandr_wang om in het Superintelligence-team te bouwen was ongelooflijk overtuigend. Maar uiteindelijk koos ik ervoor om Mark's eigen advies te volgen: “In een wereld die zo snel verandert, is het grootste risico dat je kunt nemen, geen risico nemen”. In mijn korte tijd bij Meta hebben we de grens verlegd op post-training voor "denkende" modellen. Specifiek: - Een 8B denso model naar bijna Deepseek-R1-prestaties brengen met RL-scaling. - Gebruik van synthetische data tijdens de training om RL op te warmen. - Betere on-policy distillatiemethoden ontwikkelen. Ik heb echt genoten van het werken met @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo en Yanjun.