Hast du dich jemals gefragt, was es wirklich braucht, um ein Frontier-AI-Modell zu trainieren? Ankit Gupta von YC (@GuptaAnkitV) hat sich mit Nick Joseph (@nickevanjoseph), dem Leiter des Pre-Trainings bei Anthropic, zusammengesetzt, um die technischen Herausforderungen beim Training von Claude zu erkunden – von der Verwaltung von Tausenden von GPUs und dem Debuggen verfluchter Bugs bis hin zum Ausbalancieren der Rechenleistung zwischen Pre-Training und RL. Sie behandeln Skalierungsgesetze, Datenstrategien, Teamzusammensetzung und warum die schwierigsten Probleme in der KI oft Infrastrukturprobleme und keine ML-Probleme sind. 01:05 – Von Vicarious zu OpenAI zu Anthropic 06:40 – Was Pretraining ist 11:20 – Warum die Vorhersage des nächsten Wortes gewonnen hat 16:05 – Skalierungsgesetze und der Feedback-Loop von Rechenleistung → Modelle → Einnahmen 21:50 – Aufbau der frühen Infrastruktur von Anthropic 27:35 – Effizienz-Hacks und Debugging im großen Maßstab 33:10 – Generalisten vs. Spezialisten im Pretraining-Team 38:45 – Herausforderungen beim Training über Tausende von GPUs 44:15 – Arbeiten mit neuen Chips: GPUs vs. TPUs 49:00 – Pretraining vs. Post-Training (RLHF und Denkmodelle) 54:25 – Die Zukunft der Datenqualität und -verfügbarkeit 59:10 – Wohin das Pretraining als Nächstes geht

Einschalten: