Přemýšleli jste někdy, co je vlastně potřeba k trénování hraničního modelu umělé inteligence? Ankit Gupta (@GuptaAnkitV) z YC se sešel s Nickem Josephem (@nickevanjoseph), vedoucím předškolení společnosti Anthropic, aby prozkoumali technické výzvy, které stojí za trénováním Clauda – od správy tisíců GPU a ladění prokletých chyb až po vyvážení výpočtů mezi předtrénováním a RL. Zabývají se zákony škálování, datovými strategiemi, složením týmů a tím, proč jsou nejtěžšími problémy v AI často problémy infrastruktury, nikoli problémů ML. 01:05 – Od zástupného přes OpenAI až po antropické 06:40 – Co je to předtrénink 11:20 – Proč zvítězila předpověď dalšího slova 16:05 – Zákony škálování a zpětnovazební smyčka modelů výpočetních → → výnosy 21:50 – Budování rané infrastruktury společnosti Anthropic 27:35 – Efektivita hackování a ladění ve velkém měřítku 33:10 – Generalisté vs. specialisté v předtréninkovém týmu 38:45 – Výzvy tréninku napříč tisíci GPU 44:15 – Práce s novými čipy: GPU vs. TPU 49:00 – Pretraining vs. post-training (RLHF a modely uvažování) 54:25 – Budoucnost kvality a dostupnosti dat 59:10 – Kam se bude ubírat předtrénink

Stavba probíhá na základě papírování – až 3× výšky budovy při stohování. @Brickanta je nejlepším přítelem odhadce a projektového manažera: čte dokumenty, nachází mezery a udržuje odhady a řízení projektů na správné cestě.