Gemma 3 270M (8-bit) er også rask på iPhone 16 Pro 🏎️ ~140 tk/s for A18 Pro-brikken med MLX, ikke så langt fra M3-brikken Selv om Gemma 3 270M ikke er ment for chat, er den perfekt å brukes med Apple Shortcuts på oppgaver som for eksempel oppsummering

Kult nytt MLX-prosjekt: MLX-kniv: et ollama-lignende CLI-verktøy for MLX-modeller på HuggingFace (trekk, rm, liste, vise, servere, ...)

Trening i stor høyde gjør LLM sterkere

Hvem prøver ikke å trene en klassifiserer med MLX og Gemma 3 270m i luften?

Gemma 3 270M (8-bit) ved ~200 tk/s på iPad Air M3 med MLX

I 44 linjer med kode har vi en faktisk nyttig agent som kjører helt lokalt, drevet av Qwen3 30B A3B Instruct

Nvidia Parakeet v3 er ute! Nyt dag 0-støtte med Argmax SDK - Hva endret seg fra v2? - Hvordan bruker jeg det? - Bør jeg oppgradere til denne modellen med en gang? Svar i kommentarer

Gemma 3 270m 4-bits DWQ er oppe. Samme hastighet, samme minne, mye bedre kvalitet:

Gemma 3 270m 4-bit genererer tekst med over 650 (!) tok/sek på en M4 Max med mlx-lm og bruker < 200MB: Ikke fremskyndet:

Det er enkelt 🙂 å kjøre mlx-optimaliserte modeller