Dies ist meine letzte Woche bei @AIatMeta. Es war eine schwierige Entscheidung, nicht mit dem neuen Superintelligence TBD-Labor fortzufahren, insbesondere angesichts des Talents und der Rechenleistung. Aber nach 7,5 Jahren bei Google Brain, DeepMind und Meta fühlte ich den Drang, ein anderes Risiko einzugehen. Das Angebot von Mark und @alexandr_wang, im Superintelligence-Team zu arbeiten, war unglaublich überzeugend. Aber letztendlich habe ich mich entschieden, Mark's eigenen Rat zu befolgen: „In einer Welt, die sich so schnell verändert, ist das größte Risiko, das man eingehen kann, kein Risiko einzugehen“. In meiner kurzen Zeit bei Meta haben wir die Grenzen des Post-Trainings für "denkenden" Modelle verschoben. Konkret: - Ein 8B dichtes Modell auf nahezu Deepseek-R1-Leistung mit RL-Skalierung zu bringen. - Verwendung synthetischer Daten während des Trainings, um RL warm zu starten. - Entwicklung besserer On-Policy-Destillationsmethoden. Ich habe die Zusammenarbeit mit @_arohan_, @brandfonbrener, Leo Li, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo und Yanjun wirklich genossen.