Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Arthur Douillard
Distribuované učení @ deepmind | DiLoCo, DiPaCo. Kontinuální vzdělávání PhD @ Sorbonne
Skvělá kombinace pro další informace o distribuovaném učení s @MatharyCharles a @samsja19
19. 8. 02:24
Řekl jsem, že do toho půjdu naplno, abych vám našel ty nejlepší reproduktory, jaké mohu, a myslel jsem to vážně.
Jako skvělý partnerský chat pro @samsja19 přednášku o DiLoCo ze strany aplikace, @MatharyCharles (hlavní autor zákonů o škálování pro papír DiLoCo) bude přednášet o teorii a nedávných odhaleních v této oblasti!
1,65K
Představte si rytmický šum celého datového centra, které funguje dopředu dozadu a rozšířenou realitu napříč tisíci GPU.
Pohled, který je radost vidět, datové centrum dýchá!
16. 8. 05:10
Doslova slyším průchody vpřed-vzad, které se spouštějí na této pracovní stanici vedle mé kostky z rytmu kvílení cívky gpu
2,31K
Představte si rytmický hluk datového centra pracujícího vpřed-vzad a rozšířené reality na tisících GPU.
Pohled, který je radost vidět, datové centrum dýchá!
16. 8. 05:10
Doslova slyším průchody vpřed-vzad, které se spouštějí na této pracovní stanici vedle mé kostky z rytmu kvílení cívky gpu
38
Představte si rytmický hluk datového centra pracujícího vpřed-vzad a rozšířené reality na tisících GPU.
Datacentrum dýchá!
16. 8. 05:10
Doslova slyším průchody vpřed-vzad, které se spouštějí na této pracovní stanici vedle mé kostky z rytmu kvílení cívky gpu
36
Problém s "porozuměním" v hlubokém učení spočívá v tom, že v praxi ve skutečnosti platí jen zřídka, protože vyžaduje příliš mnoho zjednodušujících předpokladů.
Raději bych měl model SotA s trochou intuice, proč to funguje, než model hračky s dokonalým porozuměním 🤷
16. 8. 09:55
Typ stylů výzkumníka
1. Pouze pochopte a buďte s tím spokojeni
2. Stavějte, ale bez porozumění
3. Pochopte a pak budujte.
3 je idealistická a zní pravděpodobně nejlépe, ale realisticky může být 2 nebezpečně silná se správnými vibracemi.
17,21K
Arthur Douillard repostoval/a
Jedním slovem: neúnavný. Jen za poslední dva týdny jsme vydali:
🌐 Genie 3 - nejpokročilejší světový simulátor vůbec
🤔 Gemini 2.5 Pro Deep Think je k dispozici pro předplatitele Ultra
🎓 Gemini Pro zdarma pro studenty univerzity a 1 miliardu dolarů pro americkou diplomovou školu
🌍 AlphaEarth - geoprostorový model celé planety
🏛️ Aeneas - rozluštění starověkého textu (v @Nature)
🥇 Zlatá medaile Gemini na IMO
🧸 Storybook - knihy s uměním a audio @GeminiApp
♛ Nový benchmark @Kaggle Game Arena pro LLM
🐙 Jules, náš agent pro asynchronní kódování, mimo Beta
🇬🇧 Režim AI pro vyhledávání je k dispozici ve Velké Británii
📔 NotebookLM Video přehledy
🔥 Gemma překonala 200 milionů stažení
Teď už víte, proč toho moc nenaspím 🛌 - jsem příliš zaneprázdněná posouváním hranic!
1M
Arthur Douillard repostoval/a
DiLoCo je metoda distribuované optimalizace pro trénování LLM napříč pomalými nebo geograficky oddělenými sítěmi. Každý worker spouští mnoho lokálních kroků AdamW na svých vlastních datech; pouze každých ~500 kroků dělníci pošlou kompaktní "pseudogradienty" globálnímu optimalizátoru Nesterovovy hybnosti, čímž se komunikace oseká o několik řádů.
Díky tomuto designu s nepříliš častou synchronizací je školení proveditelné přes špatná spojení a odolné vůči opozdilcům nebo přesunu zdrojů, i když se všichni pracovníci musí stále setkávat na stejném globálním kroku, což může nechat rychlé stroje nečinné.
1,11K
Top
Hodnocení
Oblíbené