今週が@AIatMetaでの最後の週です。特に人材と計算密度を考慮すると、新しいスーパーインテリジェンスTBDラボを継続しないのは難しい決断でした。しかし、Google Brain、DeepMind、Meta で 7.5 年経った後、私は別の種類のリスクを引き受けたいという魅力を感じました。 超知能チームの構築に対するマークと@alexandr_wangの売り込みは、信じられないほど説得力がありました。しかし、私は最終的にマーク自身のアドバイスに従うことにしました:「非常に急速に変化する世界では、あなたが取ることができる最大のリスクは、リスクを冒さないことです」。 Metaでの短い期間で、私たちは「考える」モデルのためのポストトレーニングのフロンティアを押し広げました。具体的には： - RL スケーリングを使用して、8B の高密度モデルを Deepseek-R1 に近いパフォーマンスにプッシュします。 - トレーニングの途中で合成データを使用して RL をウォームスタートします。 - より優れたポリシーに沿った蒸留方法の開発。 @_arohan_、@brandfonbrener、Leo Li、@ErykHelenowski、@DatHuynh13、Xiaocheng、Jia、Boduo、Yanjun と仕事をするのは本当に楽しかったです。