Oletko koskaan miettinyt, mitä rajan tekoälymallin kouluttaminen oikeastaan vaatii? YC:n Ankit Gupta (@GuptaAnkitV) istui alas Anthropicin esikoulutusjohtajan Nick Josephin (@nickevanjoseph) kanssa tutkiakseen Clauden koulutuksen taustalla olevia teknisiä haasteita – tuhansien grafiikkasuorittimien hallinnasta ja kirottujen bugien virheenkorjauksesta esikoulutuksen ja RL:n välisen laskennan tasapainottamiseen. Ne kattavat skaalauslait, datastrategiat, tiimin kokoonpanon ja sen, miksi tekoälyn vaikeimmat ongelmat ovat usein infrastruktuuriongelmia, eivät ML-ongelmia. 01:05 – Sijaisesta OpenAI:ksi ja antrooppiseksi 06:40 – Mitä esikoulutus on 11:20 – Miksi seuraavan sanan ennustus voitti 16:05 – Skaalauslait ja laskentamallien → takaisinkytkentäsilmukka → tuottoon 21:50 – Anthropicin varhaisen infrastruktuurin rakentaminen 27:35 – Tehokkuushakkerointi ja virheenkorjaus suuressa mittakaavassa 33:10 – Generalistit vs. asiantuntijat esikoulutustiimissä 38:45 – Tuhansien grafiikkasuorittimien harjoittelun haasteet 44:15 – Työskentely uusien sirujen kanssa: GPU:t vs. TPU:t 49:00 – Esikoulutus vs. jälkikoulutus (RLHF- ja päättelymallit) 54:25 – Datan laadun ja saatavuuden tulevaisuus 59:10 – Mihin valmennus menee seuraavaksi

Virittää: