Skip to content

Latest commit

 

History

History
101 lines (61 loc) · 5.25 KB

023.UsingIntelOpenVINOQuantifyingPhi35.md

File metadata and controls

101 lines (61 loc) · 5.25 KB

Quantification de Phi-3.5 avec Intel OpenVINO

Intel est le fabricant de CPU le plus traditionnel avec de nombreux utilisateurs. Avec l'essor de l'apprentissage automatique et de l'apprentissage profond, Intel a également rejoint la compétition pour l'accélération de l'IA. Pour l'inférence de modèles, Intel utilise non seulement des GPU et des CPU, mais aussi des NPU.

Nous espérons déployer la famille Phi-3.x du côté des utilisateurs finaux, dans l'espoir de devenir la partie la plus importante de l'IA PC et du Copilot PC. Le chargement du modèle du côté des utilisateurs finaux dépend de la coopération de différents fabricants de matériel. Ce chapitre se concentre principalement sur le scénario d'application d'Intel OpenVINO en tant que modèle quantitatif.

Qu'est-ce qu'OpenVINO

OpenVINO est un ensemble d'outils open-source pour l'optimisation et le déploiement de modèles d'apprentissage profond du cloud à l'edge. Il accélère l'inférence de l'apprentissage profond dans divers cas d'utilisation, tels que l'IA générative, la vidéo, l'audio et le langage avec des modèles issus de frameworks populaires comme PyTorch, TensorFlow, ONNX, et plus encore. Convertissez et optimisez des modèles, et déployez-les sur une combinaison de matériel et d'environnements Intel®, sur site et sur appareil, dans le navigateur ou dans le cloud.

Maintenant, avec OpenVINO, vous pouvez rapidement quantifier le modèle GenAI sur le matériel Intel et accélérer la référence du modèle.

Désormais, OpenVINO prend en charge la conversion de quantification de Phi-3.5-Vision et Phi-3.5 Instruct.

Configuration de l'environnement

Veuillez vous assurer que les dépendances environnementales suivantes sont installées, ceci est le requirement.txt

--extra-index-url https://download.pytorch.org/whl/cpu
optimum-intel>=1.18.2
nncf>=2.11.0
openvino>=2024.3.0
transformers>=4.40
openvino-genai>=2024.3.0.0

Quantification de Phi-3.5-Instruct avec OpenVINO

Dans le Terminal, veuillez exécuter ce script

export llm_model_id = "microsoft/Phi-3.5-mini-instruct"

export llm_model_path = "your save quantizing Phi-3.5-instruct location"

optimum-cli export openvino --model {llm_model_id} --task text-generation-with-past --weight-format int4 --group-size 128 --ratio 0.6  --sym  --trust-remote-code {llm_model_path}

Quantification de Phi-3.5-Vision avec OpenVINO

Veuillez exécuter ce script dans Python ou Jupyter lab

import requests
from pathlib import Path
from ov_phi3_vision import convert_phi3_model
import nncf

if not Path("ov_phi3_vision.py").exists():
    r = requests.get(url="https://raw.githubusercontent.com/openvinotoolkit/openvino_notebooks/latest/notebooks/phi-3-vision/ov_phi3_vision.py")
    open("ov_phi3_vision.py", "w").write(r.text)


if not Path("gradio_helper.py").exists():
    r = requests.get(url="https://raw.githubusercontent.com/openvinotoolkit/openvino_notebooks/latest/notebooks/phi-3-vision/gradio_helper.py")
    open("gradio_helper.py", "w").write(r.text)

if not Path("notebook_utils.py").exists():
    r = requests.get(url="https://raw.githubusercontent.com/openvinotoolkit/openvino_notebooks/latest/utils/notebook_utils.py")
    open("notebook_utils.py", "w").write(r.text)



model_id = "microsoft/Phi-3.5-vision-instruct"
out_dir = Path("../model/phi-3.5-vision-128k-instruct-ov")
compression_configuration = {
    "mode": nncf.CompressWeightsMode.INT4_SYM,
    "group_size": 64,
    "ratio": 0.6,
}
if not out_dir.exists():
    convert_phi3_model(model_id, out_dir, compression_configuration)

🤖 Exemples pour Phi-3.5 avec Intel OpenVINO

Labs Introduction Aller
🚀 Lab-Introduction Phi-3.5 Instruct Apprenez à utiliser Phi-3.5 Instruct dans votre AI PC Aller
🚀 Lab-Introduction Phi-3.5 Vision (image) Apprenez à utiliser Phi-3.5 Vision pour analyser des images dans votre AI PC Aller
🚀 Lab-Introduction Phi-3.5 Vision (vidéo) Apprenez à utiliser Phi-3.5 Vision pour analyser des vidéos dans votre AI PC Aller

Ressources

  1. En savoir plus sur Intel OpenVINO https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.html

  2. Dépôt GitHub d'Intel OpenVINO https://github.com/openvinotoolkit/openvino.genai

Avertissement: Ce document a été traduit en utilisant des services de traduction automatisée par IA. Bien que nous nous efforcions d'assurer l'exactitude, veuillez noter que les traductions automatisées peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d'origine doit être considéré comme la source faisant autorité. Pour des informations critiques, une traduction humaine professionnelle est recommandée. Nous ne sommes pas responsables des malentendus ou des interprétations erronées résultant de l'utilisation de cette traduction.