Il s'agit d'un exemple Android utilisant les modèles Microsoft Phi-3.5 tflite.
L'API d'inférence LLM pour Android vous permet d'exécuter des modèles de langage de grande taille (LLM) entièrement sur l'appareil pour les applications Android. Vous pouvez l'utiliser pour effectuer une large gamme de tâches, telles que générer du texte, récupérer des informations en langage naturel et résumer des documents. La tâche offre une prise en charge intégrée pour plusieurs modèles de langage de grande taille de type texte-à-texte, vous permettant ainsi d'appliquer les derniers modèles d'IA générative sur l'appareil à vos applications Android.
Googld AI Edge Torch est une bibliothèque python qui prend en charge la conversion des modèles PyTorch en format .tflite, qui peut ensuite être exécuté avec TensorFlow Lite et MediaPipe. Cela permet de créer des applications pour Android, iOS et IoT capables d'exécuter des modèles entièrement sur l'appareil. AI Edge Torch offre une couverture CPU large, avec un support initial pour GPU et NPU. AI Edge Torch cherche à s'intégrer étroitement avec PyTorch, en se basant sur torch.export() et en fournissant une bonne couverture des opérateurs Core ATen.
-
Cet exemple est pour Android 14+
-
Installer Python 3.10.12
Suggestion : utiliser conda pour installer votre environnement Python
- Ubuntu 20.04 / 22.04 (veuillez vous concentrer sur google ai-edge-torch)
Suggestion : Utiliser une VM Azure Linux ou une VM cloud tierce pour créer votre environnement
- Allez sur votre terminal Linux pour installer la bibliothèque Python
git clone https://github.com/google-ai-edge/ai-edge-torch.git
cd ai-edge-torch
pip install -r requirements.txt -U
pip install tensorflow-cpu -U
pip install -e .
- Télécharger Microsoft-3.5-Instruct depuis Hugging face
git lfs install
git clone https://huggingface.co/microsoft/Phi-3.5-mini-instruct
- Convertir Microsoft Phi-3.5 en tflite
python ai-edge-torch/ai_edge_torch/generative/examples/phi/convert_phi3_to_tflite.py --checkpoint_path Your Microsoft Phi-3.5-mini-instruct path --tflite_path Your Microsoft Phi-3.5-mini-instruct tflite path --prefill_seq_len 1024 --kv_cache_max_len 1280 --quantize True
Veuillez d'abord installer mediapipe
pip install mediapipe
exécutez ce code dans votre notebook
import mediapipe as mp
from mediapipe.tasks.python.genai import bundler
config = bundler.BundleConfig(
tflite_model='Your Phi-3.5 tflite model path',
tokenizer_model='Your Phi-3.5 tokenizer model path',
start_token='start_token',
stop_tokens=[STOP_TOKENS],
output_filename='Your Phi-3.5 task model path',
enable_bytes_to_unicode_mapping=True or Flase,
)
bundler.create_bundle(config)adb shell rm -r /data/local/tmp/llm/ # Remove any previously loaded models
adb shell mkdir -p /data/local/tmp/llm/
adb push 'Your Phi-3.5 task model path' /data/local/tmp/llm/phi3.task
Avertissement: Ce document a été traduit en utilisant des services de traduction automatique basés sur l'IA. Bien que nous nous efforcions d'assurer l'exactitude, veuillez noter que les traductions automatiques peuvent contenir des erreurs ou des inexactitudes. Le document original dans sa langue d'origine doit être considéré comme la source faisant autorité. Pour des informations critiques, il est recommandé de recourir à une traduction humaine professionnelle. Nous ne sommes pas responsables des malentendus ou des interprétations erronées résultant de l'utilisation de cette traduction.