¿Tienes un Mac con un chip M? Ahora puedes entrenar Gemma3 270m localmente como un modelo de incrustación multilingüe o de reordenamiento utilizando nuestro proyecto mlx-retrieval. Te permite entrenar Gemma3 270m localmente a 4000 tokens/s en M3 Ultra - esa es una velocidad realmente utilizable. Hemos implementado algunas prácticas estándar para entrenar un modelo de incrustación o reordenamiento efectivo solo con decodificador con MLX: LoRA completo/parcial, InfoNCE, acumulación de gradientes y cargador de datos en streaming. Además, integración de MTEB para bucles de entrenamiento-evaluación.
29,14K