Vous vous êtes déjà demandé ce qu'il faut réellement pour entraîner un modèle d'IA de pointe ? Ankit Gupta de YC (@GuptaAnkitV) s'est entretenu avec Nick Joseph (@nickevanjoseph), responsable de la pré-formation chez Anthropic, pour explorer les défis techniques liés à l'entraînement de Claude—de la gestion de milliers de GPU et du débogage de bugs maudits à l'équilibre entre le calcul pour la pré-formation et l'apprentissage par renforcement. Ils abordent les lois d'échelle, les stratégies de données, la composition des équipes, et pourquoi les problèmes les plus difficiles en IA sont souvent des problèmes d'infrastructure, et non des problèmes de ML. 01:05 – De Vicarious à OpenAI en passant par Anthropic 06:40 – Ce qu'est la pré-formation 11:20 – Pourquoi la prédiction du mot suivant a prévalu 16:05 – Lois d'échelle et boucle de rétroaction du calcul → modèles → revenus 21:50 – Construction de l'infrastructure précoce d'Anthropic 27:35 – Astuces d'efficacité et débogage à grande échelle 33:10 – Généralistes vs. spécialistes dans l'équipe de pré-formation 38:45 – Défis de l'entraînement sur des milliers de GPU 44:15 – Travailler avec de nouvelles puces : GPU vs. TPU 49:00 – Pré-formation vs. post-formation (RLHF et modèles de raisonnement) 54:25 – L'avenir de la qualité et de la disponibilité des données 59:10 – Où va la pré-formation ensuite

Branchez-vous :