Heb je je ooit afgevraagd wat het eigenlijk kost om een frontier AI-model te trainen? YC's Ankit Gupta (@GuptaAnkitV) ging in gesprek met Nick Joseph (@nickevanjoseph), hoofd Pre-training bij Anthropic, om de technische uitdagingen achter het trainen van Claude te verkennen—van het beheren van duizenden GPU's en het debuggen van vervloekte bugs tot het balanceren van rekenkracht tussen pre-training en RL. Ze bespreken schalingswetten, datastrategieën, teamopbouw en waarom de moeilijkste problemen in AI vaak infrastructuurproblemen zijn, geen ML-problemen. 01:05 – Van Vicarious naar OpenAI naar Anthropic 06:40 – Wat pretraining is 11:20 – Waarom next-word voorspelling de overhand kreeg 16:05 – Schalingswetten en de feedbackloop van rekenkracht → modellen → inkomsten 21:50 – Het opbouwen van de vroege infrastructuur van Anthropic 27:35 – Efficiëntie-hacks en debuggen op grote schaal 33:10 – Generalisten vs. specialisten in het pretrainingteam 38:45 – Uitdagingen van training over duizenden GPU's 44:15 – Werken met nieuwe chips: GPU's vs. TPU's 49:00 – Pretraining vs. post-training (RLHF en redeneermodellen) 54:25 – De toekomst van datakwaliteit en beschikbaarheid 59:10 – Waar pretraining naartoe gaat

Stem af: