Це мій останній тиждень у @AIatMeta. Це було важке рішення не продовжувати роботу з новою лабораторією Superintelligence TBD, особливо з огляду на талант і щільність обчислень. Але після 7,5 років роботи в Google Brain, DeepMind і Meta я відчув потяг взяти на себе інший вид ризику. Пропозиція від Марка та @alexandr_wang створити команду Superintelligence була неймовірно переконливою. Але в кінцевому підсумку я вирішив слідувати пораді самого Марка: «У світі, який так швидко змінюється, найбільший ризик, на який ви можете піти, — це не ризикувати». За короткий час моєї роботи в Meta ми розширили межі в пост-тренінгу для моделей «мислення». Специфічно: - Підвищення щільної моделі 8B до продуктивності, близької до Deepseek-R1, з масштабуванням RL. - Використання синтетичних даних під час тренування для розігріву РЛ. - Розробка кращих методів дистиляції на основі політики. Дуже сподобалося працювати з @_arohan_, @brandfonbrener, Лео Лі, @ErykHelenowski, @DatHuynh13, Xiaocheng, Jia, Boduo та Yanjun.