Когда-нибудь задумывались, что на самом деле нужно для обучения передовой модели ИИ? Анкит Гупта из YC (@GuptaAnkitV) встретился с Ником Джозефом (@nickevanjoseph), главой предобучения в Anthropic, чтобы обсудить инженерные проблемы, связанные с обучением Клода — от управления тысячами GPU и отладки «проклятых» ошибок до балансировки вычислений между предобучением и RL. Они обсуждают законы масштабирования, стратегии данных, состав команды и почему самые сложные проблемы в ИИ часто являются проблемами инфраструктуры, а не ML. 01:05 – От Vicarious к OpenAI и Anthropic 06:40 – Что такое предобучение 11:20 – Почему предсказание следующего слова оказалось успешным 16:05 – Законы масштабирования и обратная связь вычислений → модели → доход 21:50 – Построение ранней инфраструктуры Anthropic 27:35 – Хаки эффективности и отладка в масштабе 33:10 – Генералисты против специалистов в команде предобучения 38:45 – Проблемы обучения на тысячах GPU 44:15 – Работа с новыми чипами: GPU против TPU 49:00 – Предобучение против постобучения (RLHF и модели рассуждений) 54:25 – Будущее качества и доступности данных 59:10 – Куда движется предобучение дальше

Настройтесь: