Gemma 3 270M (8-bit) je rychlá i na iPhone 16 Pro 🏎️ ~140 tk/s pro čip A18 Pro s MLX, ne tak daleko od čipu M3 I když Gemma 3 270M není určena pro chat, je ideální pro použití s Apple Shortcuts na úkolech, jako je například shrnutí

Skvělý nový projekt MLX: mlx-knife: nástroj CLI podobný ollame pro modely MLX na huggingface (pull, rm, list, show, serve, ...)

Trénink ve vysoké nadmořské výšce dělá LLM silnějším

Kdo by si nevyzkoušel výcvik klasifikátoru s MLX a Gemmou 3 270m za letu?

Gemma 3 270M (8 bitů) při ~200 tk/s na iPadu Air M3 s MLX

Ve 44 řádcích kódu máme skutečně užitečného agenta, který běží zcela lokálně, poháněný Qwen3 30B A3B Instruct

Nvidia Parakeet v3 je venku! Užijte si podporu Day 0 s Argmax SDK - Co se změnilo od verze 2? - Jak se používá? - Mám na tento model upgradovat hned? Odpovědi v komentářích

Gemma 3 270m 4-bit DWQ je v provozu. Stejná rychlost, stejná paměť, mnohem lepší kvalita:

Gemma 3 270m 4-bit generuje text rychlostí přes 650 (!) tok/sec na M4 Max s mlx-lm a využívá < 200MB: Nezrychlené:

Spouštění modelů optimalizovaných pro mlx je snadné 🙂