Ви коли-небудь замислювалися, що насправді потрібно, щоб навчити модель штучного інтелекту Frontier? Анкіт Гупта з YC (@GuptaAnkitV) зустрівся з Ніком Джозефом (@nickevanjoseph), керівником відділу підготовки до навчання Anthropic, щоб дослідити інженерні проблеми, що стоять за навчанням Клода — від керування тисячами графічних процесорів і налагодження проклятих помилок до балансування обчислень між попереднім навчанням і RL. Вони охоплюють закони масштабування, стратегії даних, склад команди та те, чому найважчими проблемами в ШІ часто є проблеми з інфраструктурою, а не з машинним навчанням. 01:05 – Від Vicarious до OpenAI та Anthropic 06:40 – Що таке передпідготовка 11:20 - Чому прогноз на наступне слово переміг 16:05 – Закони масштабування та цикл зворотного зв'язку моделей → обчислень → дохід 21:50 – Побудова ранньої інфраструктури Anthropic 27:35 - Ефективні хаки та налагодження в масштабі 33:10 – Універсали проти спеціалістів у команді передтренувальної підготовки 38:45 - Проблеми навчання на тисячах графічних процесорів 44:15 - Робота з новими чіпами: графічні процесори проти TPU 49:00 – Передтренувальна та післятренувальна підготовка (RLHF та моделі міркування) 54:25 – Майбутнє якості та доступності даних 59:10 – Де далі проходить підготовча підготовка

Налаштуйтеся: