Har du noen gang lurt på hva som faktisk skal til for å trene en grensebasert AI-modell? YCs Ankit Gupta (@GuptaAnkitV) satte seg ned med Nick Joseph (@nickevanjoseph), Anthropics leder for forhåndsopplæring, for å utforske de tekniske utfordringene bak opplæring av Claude – fra å administrere tusenvis av GPU-er og feilsøke forbannede feil til å balansere databehandling mellom forhåndsopplæring og RL. De dekker skaleringslover, datastrategier, teamsammensetning og hvorfor de vanskeligste problemene i AI ofte er infrastrukturproblemer, ikke ML-problemer. 01:05 – Fra stedfortredende til OpenAI til antropisk 06:40 – Hva pretraining er 11:20 – Hvorfor spådom om neste ord vant frem 16:05 – Skaleringslover og tilbakemeldingssløyfen for databehandlings- → modeller → inntekter 21:50 – Bygging av Anthropics tidlige infrastruktur 27:35 – Effektivitetshack og feilsøking i stor skala 33:10 – Generalister vs. spesialister på pretraining-teamet 38:45 – Utfordringer med opplæring på tvers av tusenvis av GPU-er 44:15 – Arbeide med nye brikker: GPUer vs. TPUer 49:00 – Førtrening vs. ettertrening (RLHF og resonneringsmodeller) 54:25 – Fremtiden for datakvalitet og tilgjengelighet 59:10 – Hvor før treningen går videre

Still inn: