Har du någonsin undrat vad som faktiskt krävs för att träna en avancerad AI-modell? YC:s Ankit Gupta (@GuptaAnkitV) satte sig ner med Nick Joseph (@nickevanjoseph), Anthropics chef för förutbildning, för att utforska de tekniska utmaningarna bakom träningen av Claude – från att hantera tusentals GPU:er och felsöka förbannade buggar till att balansera beräkning mellan förträning och RL. De täcker skalningslagar, datastrategier, teamsammansättning och varför de svåraste problemen inom AI ofta är infrastrukturproblem, inte ML-problem. 01:05 – Från Vicarious till OpenAI till Anthropic 06:40 - Vad förträning är 11:20 - Varför nästa ord förutsägelse vann 16:05 - Skalningslagar och återkopplingsslingan för beräkning → modeller → intäkter 21:50 - Bygga Anthropics tidiga infrastruktur 27:35 - Effektivitetshack och felsökning i stor skala 33:10 - Generalister vs. specialister i förträningsteamet 38:45 - Utmaningar med träning över tusentals GPU:er 44:15 – Arbeta med nya chips: GPU:er vs. TPU:er 49:00 – Förträning vs. efterträning (RLHF och resonemangsmodeller) 54:25 - Framtiden för datakvalitet och tillgänglighet 59:10 – Vart förträningen tar vägen härnäst

Lyssna på: