- Pembuatan batch kecil memulai bandwidth memori terikat dan tetap seperti itu saat Anda meningkatkan panjang konteks. - Anda dapat membuatnya terikat komputasi (dan mencapai inti tensor tersebut) dengan meningkatkan ukuran batch / jumlah permintaan paralel. -Tetapi ketika panjang konteks semakin panjang, itu mulai menjadi lebih terikat bandwidth lagi. - Dan ada batasan seberapa besar Anda dapat membuat ukuran batch karena kendala memori. Argumen yang kuat untuk model dengan ukuran status yang lebih kecil. Mereka membantu Anda menghindari dinding memori bahkan untuk pembuatan batch bahkan saat Anda mengembangkan konteks