Chamath: Dva pojmy, na které byste měli v AI dávat pozor, jsou Prefill a Decode "Jsou dva pojmy, o kterých si myslím, že v příštích letech uslyšíte hodně." "První termín je předvyplnění, další je dekódování." "Co jsou předvyplnění a dekódování, jsou dva velmi odlišné způsoby, jak modely myslí a jak model prochází procesem odpovídání na otázku, kterou mu položíte." "A když pošlete prompt AI, model ho zpracuje. Tomu se říká fáze čtení nebo předplnění." "Přečte celý váš zadání najednou. A pak provede spoustu výpočtů, spočítá všechny tyto vztahy mezi všemi slovy a uloží je do dočasné paměti." "Problém je, že je to opravdu omezené na výpočetní výpočty. Takže to vyžaduje obrovskou hrubou sílu. A GPU od Nvidie tady drtí na jedničku." "A jejich architektura je navržena pro masivní paralelní zpracování, což je dělá opravdu úžasnými v vstřebávání těchto dlouhých promptů." "Takže problém se jen zvětšuje, Nvidia úplně dominuje." "Ale další fáze, tato kritická fáze, fáze dekódování, je fáze psaní, že?" "Model začne generovat odpověď, položíte mu otázku a on odpoví, jeden token po druhém." "A pak, aby vybral další žeton, aby vybral další slovo, musí se podívat zpět na všechno, co už řekl, aby nehalucinoval." "Problém je, že je to neuvěřitelně omezené na šířku pásma paměti." "A v naší architektuře jsme už dávno dělali tato designová rozhodnutí od prvního dne." "A tak jsme zvolili velmi odlišný architektonický přístup, velmi konzervativní procesní technologii. Nepřekračovali jsme hranice fyziky." ...