DiLoCo è un metodo di ottimizzazione distribuita per l'addestramento di LLM su reti lente o geograficamente separate. Ogni worker esegue molti passaggi AdamW locali sui propri dati; solo ogni ~500 passi i lavoratori inviano "pseudo-gradienti" compatti a un ottimizzatore globale del momento Nesterov, tagliando la comunicazione di ordini di grandezza. Questo design di sincronizzazione poco frequente rende l'addestramento fattibile su collegamenti scadenti e resistente ai ritardatari o allo spostamento delle risorse, anche se tutti i lavoratori devono comunque incontrarsi allo stesso passo globale, il che può lasciare le macchine veloci inattive.