Skip to content

Latest commit

 

History

History
52 lines (29 loc) · 2.96 KB

024.UsingAppleMLXQuantifyingPhi35.md

File metadata and controls

52 lines (29 loc) · 2.96 KB

Cuantización de Phi-3.5 usando el Framework Apple MLX

MLX es un framework de arrays para la investigación en aprendizaje automático en dispositivos Apple Silicon, traído a ti por el equipo de investigación en aprendizaje automático de Apple.

MLX está diseñado por investigadores en aprendizaje automático para investigadores en aprendizaje automático. El framework está pensado para ser fácil de usar, pero aún así eficiente para entrenar y desplegar modelos. El diseño del framework en sí también es conceptualmente simple. Nuestro objetivo es facilitar a los investigadores la extensión y mejora de MLX con el fin de explorar rápidamente nuevas ideas.

Los LLMs pueden ser acelerados en dispositivos Apple Silicon a través de MLX, y los modelos pueden ejecutarse localmente de manera muy conveniente.

Ahora el Framework Apple MLX soporta la conversión cuantizada de Phi-3.5-Instruct(soporte del Framework Apple MLX), Phi-3.5-Vision(soporte del Framework MLX-VLM), y Phi-3.5-MoE(soporte del Framework Apple MLX). Vamos a probarlo a continuación:

Phi-3.5-Instruct

python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-mini-instruct -q

Phi-3.5-Vision

python -m mlxv_lm.convert --hf-path microsoft/Phi-3.5-vision-instruct -q

Phi-3.5-MoE

python -m mlx_lm.convert --hf-path microsoft/Phi-3.5-MoE-instruct  -q

🤖 Ejemplos para Phi-3.5 con Apple MLX

Laboratorios Introducción Ir
🚀 Lab-Introducción Phi-3.5 Instruct Aprende cómo usar Phi-3.5 Instruct con el framework Apple MLX Ir
🚀 Lab-Introducción Phi-3.5 Vision (imagen) Aprende cómo usar Phi-3.5 Vision para analizar imágenes con el framework Apple MLX Ir
🚀 Lab-Introducción Phi-3.5 Vision (moE) Aprende cómo usar Phi-3.5 MoE con el framework Apple MLX Ir

Recursos

  1. Aprende sobre el Framework Apple MLX https://ml-explore.github.io/mlx/

  2. Repositorio de Apple MLX en GitHub https://github.com/ml-explore

  3. Repositorio de MLX-VLM en GitHub https://github.com/Blaizzy/mlx-vlm

     **Descargo de responsabilidad**:
 Este documento ha sido traducido utilizando servicios de traducción automática basados en IA. Aunque nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automatizadas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda una traducción profesional humana. No somos responsables de ningún malentendido o interpretación errónea que surja del uso de esta traducción.