仔細觀察，PyTorch 也使用 FP32，但這裡是 bnb Adam 更好的真正原因：我們針對浮點數進行了優化，順序很重要！計算 sqrt(v) + eps*c2 然後再除以 c2 可以避免放大錯誤，而不是 PyTorch 的 sqrt(v)/c2 + eps。相同的數學， 更好的穩定性！

聽說來自團隊 bitsandbytes 的 Adam 32 位在損失和穩定性方面比 PyTorch Adam 更好。我們所有的計算都是在 fp32 中進行的，因此你擁有的梯度並不重要；計算更為精確。這類似於 DeepSeek 在其 8 位矩陣乘法中的 fp32 累積。

感覺編碼代理的前沿現在已經開放： GLM 4.5 每月僅需 3 美元，與 Sonnet 不相上下。 Kimi K2.1 Turbo 速度是 Opus 4.1 的 3 倍，價格便宜 7 倍，但效果一樣好。 Kimi K2.1 感覺很乾淨。對我來說是最好的模型。GPT-5 只適合複雜的規格——太慢了。