Pernah bertanya-tanya apa yang sebenarnya diperlukan untuk melatih model AI perbatasan? Ankit Gupta (@GuptaAnkitV) dari YC duduk bersama Nick Joseph (@nickevanjoseph), Kepala Pra-pelatihan Anthropic, untuk mengeksplorasi tantangan teknik di balik pelatihan Claude—mulai dari mengelola ribuan GPU dan men-debug bug terkutuk hingga menyeimbangkan komputasi antara pra-pelatihan dan RL. Mereka mencakup undang-undang penskalaan, strategi data, komposisi tim, dan mengapa masalah tersulit dalam AI seringkali adalah masalah infrastruktur, bukan masalah ML. 01:05 – Dari Perwakilan ke OpenAI ke Antropik 06:40 – Apa itu prapelatihan 11:20 – Mengapa prediksi kata berikutnya menang 16:05 – Undang-undang penskalaan dan loop umpan balik model komputasi → → pendapatan 21:50 – Membangun infrastruktur awal Anthropic 27:35 – Peretasan efisiensi dan debugging dalam skala besar 33:10 – Generalis vs. spesialis di tim prapelatihan 38:45 – Tantangan pelatihan di ribuan GPU 44:15 – Bekerja dengan chip baru: GPU vs. TPU 49:00 – Prapelatihan vs. pasca-pelatihan (RLHF dan model penalaran) 54:25 – Masa depan kualitas dan ketersediaan data 59:10 – Ke mana prapelatihan selanjutnya

Mendengarkan: