Сумасшедшие парни ввели всех в заблуждение с "NATIVE Sparse Attention", долго объясняя, как постфактумная разреженность — это плохо, и что совершенно необходимо обучать с нуля, а просто… разрежили контрольную точку V3. Вы понимаете, что это в общем применимо ко всем моделям с плотным вниманием?