詳しく見ると、PyTorch も FP32 を使用していますが、bnb Adam が優れている本当の理由は次のとおりです。sqrt(v) + eps*c2 を計算してから除算すると、PyTorch の sqrt(v)/c2 + eps に対する誤差の増幅が回避されます。同じ計算で安定性が向上します!

チームから聞いたところによると、bitsandbytes Adam 32 ビットは PyTorch Adam よりも優れた損失と安定性をもたらします。すべての計算はfp32で行うため、勾配は関係ありません。計算はより正確です。これは、8ビットマトムルでのDeepSeek fp32の蓄積に似ています。

コーディングエージェントのフロンティアがオープンウェイトになったように感じます。 GLM 4.5 の料金は月額わずか 3 ドルで、ソネットと同等です Kimi K2.1 Turbo は Opus 4.1 に比べて 3 倍の速度で 7 倍安いですが、同等の性能です。 キミK2.1は清潔感があります。私にとって最高のモデルです。GPT-5は複雑な仕様にのみ適しており、遅すぎます。