Ouvi de uma equipe bitsandbytes que o Adam 32-bit oferece uma perda e estabilidade melhores do que o PyTorch Adam. Fazemos todos os cálculos em fp32, então não importa quais gradientes você tenha; os cálculos são mais precisos. Isso é semelhante à acumulação fp32 do DeepSeek em suas matmuls de 8 bits.