- La generazione in piccoli lotti inizia ad essere limitata dalla larghezza di banda della memoria e rimane tale man mano che aumenti la lunghezza del contesto. - Puoi renderla limitata dal calcolo (e colpire quei core tensor) aumentando la dimensione del lotto / il numero di richieste parallele. - Ma man mano che la lunghezza del contesto diventa più lunga, inizia a diventare di nuovo più limitata dalla larghezza di banda. - E c'è un limite a quanto puoi aumentare la dimensione del lotto a causa delle limitazioni di memoria. Un forte argomento a favore di modelli con dimensioni di stato più piccole. Ti aiutano a evitare il muro della memoria anche per la generazione in batch, anche mentre aumenti il contesto.