- Die Generierung in kleinen Chargen beginnt speicherbandbreitengebunden und bleibt das auch, wenn Sie die Kontextlänge erhöhen. - Sie können es rechenintensiv machen (und diese Tensor-Kerne nutzen), indem Sie die Batch-Größe / Anzahl der parallelen Anfragen erhöhen. - Aber wenn die Kontextlänge länger wird, wird es wieder mehr bandbreitengebunden. - Und es gibt eine Grenze, wie groß Sie die Batch-Größe aufgrund von Speicherbeschränkungen machen können. Ein starkes Argument für Modelle mit kleinerer Zustandsgröße. Sie helfen Ihnen, die Speicherwand zu vermeiden, selbst bei der Batch-Generierung, auch wenn Sie den Kontext erweitern.