Te-ai întrebat vreodată de ce este nevoie de fapt pentru a antrena un model AI de frontieră? Ankit Gupta (@GuptaAnkitV) de la YC a stat de vorbă cu Nick Joseph (@nickevanjoseph), șeful de pre-instruire al Anthropic, pentru a explora provocările inginerești din spatele antrenamentului lui Claude - de la gestionarea a mii de GPU-uri și depanarea bug-urilor blestemate până la echilibrarea calculului între pre-antrenament și RL. Acestea acoperă legile de scalare, strategiile de date, compoziția echipei și de ce cele mai dificile probleme în AI sunt adesea probleme de infrastructură, nu probleme de ML. 01:05 – De la Vicarious la OpenAI la Anthropic 06:40 – Ce este preantrenamentul 11:20 – De ce a câștigat predicția următorului cuvânt 16:05 – Legile de scalare și bucla de feedback a modelelor de → de calcul → venituri 21:50 – Construirea infrastructurii timpurii a Anthropic 27:35 – Hack-uri de eficiență și depanare la scară largă 33:10 – Generaliști vs. specialiști în echipa de pretraining 38:45 – Provocările antrenamentului pe mii de GPU-uri 44:15 – Lucrul cu cipuri noi: GPU-uri vs. TPU-uri 49:00 – Pre-antrenament vs. post-antrenament (RLHF și modele de raționament) 54:25 – Viitorul calității și disponibilității datelor 59:10 – Unde urmează preantrenamentul

Acordați-vă: