仔细观察，PyTorch 也使用 FP32，但这里是 bnb Adam 更好的真正原因：我们针对浮点数进行了优化，顺序很重要！计算 sqrt(v) + eps*c2 然后再除以 c2 可以避免放大错误，而不是 PyTorch 的 sqrt(v)/c2 + eps。相同的数学， 更好的稳定性！

听说来自团队 bitsandbytes 的 Adam 32 位在损失和稳定性方面比 PyTorch Adam 更好。我们所有的计算都是在 fp32 中进行的，因此你拥有的梯度并不重要；计算更为精确。这类似于 DeepSeek 在其 8 位矩阵乘法中的 fp32 累积。

感觉编码代理的前沿现在已经开放： GLM 4.5 每月仅需 3 美元，与 Sonnet 不相上下。 Kimi K2.1 Turbo 速度是 Opus 4.1 的 3 倍，价格便宜 7 倍，但效果一样好。 Kimi K2.1 感觉很干净。对我来说是最好的模型。GPT-5 只适合复杂的规格——太慢了。