Skip to content

Latest commit

 

History

History
84 lines (44 loc) · 3.75 KB

022.UsingORTGenAIQuantifyingPhi35.md

File metadata and controls

84 lines (44 loc) · 3.75 KB

Comment utiliser Model Builder pour quantifier Phi-3.5

Model Builder prend désormais en charge la quantification des modèles ONNX pour Phi-3.5 Instruct et Phi-3.5-Vision

Phi-3.5-Instruct

Conversion accélérée par CPU en INT 4 quantifié

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cpu -c ./Phi-3.5-mini-instruct

Conversion accélérée par CUDA en INT 4 quantifié

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct

python3 -m onnxruntime_genai.models.builder -m microsoft/Phi-3.5-mini-instruct  -o ./onnx-cpu -p int4 -e cuda -c ./Phi-3.5-mini-instruct

Phi-3.5-Vision

Phi-3.5-vision-instruct-onnx-cpu-fp32

  1. Configurer l'environnement dans le terminal
mkdir models

cd models

  1. Télécharger microsoft/Phi-3.5-vision-instruct dans le dossier models https://huggingface.co/microsoft/Phi-3.5-vision-instruct

  2. Veuillez télécharger ces fichiers dans votre dossier Phi-3.5-vision-instruct

  1. Télécharger ce fichier dans le dossier models https://huggingface.co/lokinfey/Phi-3.5-vision-instruct-onnx-cpu/blob/main/onnx/build.py

  2. Aller au terminal

    Convertir le support ONNX avec FP32

python build.py -i .\Your Phi-3.5-vision-instruct Path\ -o .\vision-cpu-fp32 -p f32 -e cpu

Remarque：

  1. Model Builder prend actuellement en charge la conversion de Phi-3.5-Instruct et Phi-3.5-Vision, mais pas de Phi-3.5-MoE

  2. Pour utiliser le modèle quantifié ONNX, vous pouvez l'utiliser via le SDK des extensions d'IA générative pour onnxruntime

  3. Nous devons envisager une IA plus responsable, donc après la conversion de quantification du modèle, il est recommandé de mener des tests de résultats plus efficaces

  4. En quantifiant le modèle CPU INT4, nous pouvons le déployer sur un appareil Edge, ce qui offre de meilleurs scénarios d'application, c'est pourquoi nous avons complété Phi-3.5-Instruct autour d'INT 4

Ressources

  1. En savoir plus sur les extensions d'IA générative pour onnxruntime https://onnxruntime.ai/docs/genai/

  2. Répertoire GitHub des extensions d'IA générative pour onnxruntime https://github.com/microsoft/onnxruntime-genai

Avertissement : Ce document a été traduit à l'aide de services de traduction automatisés par IA. Bien que nous nous efforcions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d'origine doit être considéré comme la source faisant autorité. Pour des informations cruciales, il est recommandé de faire appel à une traduction humaine professionnelle. Nous ne sommes pas responsables des malentendus ou des interprétations erronées résultant de l'utilisation de cette traduction.