Skip to content

Latest commit

 

History

History
80 lines (38 loc) · 3.37 KB

MLX_Inference.md

File metadata and controls

80 lines (38 loc) · 3.37 KB

Inference Phi-3 avec le Framework Apple MLX

Qu'est-ce que le Framework MLX

MLX est un framework de calcul pour la recherche en apprentissage automatique sur les puces Apple, proposé par l'équipe de recherche en apprentissage automatique d'Apple.

MLX est conçu par des chercheurs en apprentissage automatique pour des chercheurs en apprentissage automatique. Le framework se veut convivial, tout en restant efficace pour entraîner et déployer des modèles. Le design du framework est également conceptuellement simple. Nous avons l'intention de faciliter l'extension et l'amélioration de MLX pour explorer rapidement de nouvelles idées.

Les LLMs peuvent être accélérés sur les appareils Apple Silicon grâce à MLX, et les modèles peuvent être exécutés localement de manière très pratique.

Utiliser MLX pour inférer Phi-3-mini

1. Configurer votre environnement MLX

  1. Python 3.11.x
  2. Installer la bibliothèque MLX
pip install mlx-lm

2. Exécuter Phi-3-mini dans le Terminal avec MLX

python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

Le résultat (mon environnement est Apple M1 Max, 64GB) est

Terminal

3. Quantifier Phi-3-mini avec MLX dans le Terminal

python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct

Note： Le modèle peut être quantifié via mlx_lm.convert, et la quantification par défaut est INT4. Cet exemple quantifie Phi-3-mini en INT4

Le modèle peut être quantifié via mlx_lm.convert, et la quantification par défaut est INT4. Cet exemple quantifie Phi-3-mini en INT4. Après quantification, il sera stocké dans le répertoire par défaut ./mlx_model

Nous pouvons tester le modèle quantifié avec MLX depuis le terminal

python -m mlx_lm.generate --model ./mlx_model/ --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

Le résultat est

INT4

4. Exécuter Phi-3-mini avec MLX dans Jupyter Notebook

Notebook

Note: Veuillez lire cet exemple cliquez sur ce lien

Ressources

  1. En savoir plus sur le Framework Apple MLX https://ml-explore.github.io

  2. Dépôt GitHub Apple MLX https://github.com/ml-explore

Avertissement:
Ce document a été traduit en utilisant des services de traduction automatisés basés sur l'intelligence artificielle. Bien que nous nous efforcions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d'origine doit être considéré comme la source faisant autorité. Pour des informations critiques, une traduction humaine professionnelle est recommandée. Nous ne sommes pas responsables des malentendus ou des interprétations erronées résultant de l'utilisation de cette traduction.