«الذكاء الاصطناعي العام سيكون متناثرا» (مع مفهرس انتباه كامل صغير) من الجنون جدا أن لديهم تصميما مناسبا تماما لوكالة الأمن القومي ، حتى أنه تم تبنيه بواسطة OpenBMB ، ثم قاموا بمحورهم تماما
vLLM
vLLMمنذ 16 ساعةً
كيف يعمل @deepseek_ai Sperse Attention (DSA)؟ يحتوي على 2 مكونات: مفهرس البرق والانتباه متعدد الكامن المتناثر (MLA). يحتفظ المفهرس بذاكرة تخزين مؤقت صغيرة للمفتاح تبلغ 128 لكل رمز مميز (مقابل 512 ل MLA). يسجل الاستعلامات الواردة. أفضل 2048 رمز مميز لتمريره إلى Sparse MLA.
لقد تحدث الحمقى
‏‎10.99‏K