LM Studio es una aplicación para llamar SLM y LLM en una aplicación de escritorio local. Permite a los usuarios utilizar fácilmente diferentes modelos y soporta computación acelerada usando NVIDIA/AMD GPU/Apple Silicon. A través de LM Studio, los usuarios pueden descargar, instalar y ejecutar varios LLM y SLM de código abierto basados en Hugging Face para probar el rendimiento del modelo localmente sin necesidad de codificar.
Puedes elegir instalar en Windows, Linux, macOS a través del sitio web de LM Studio https://lmstudio.ai/
LM Studio llama a modelos de código abierto en formato gguf cuantizado. Puedes descargarlo directamente desde la plataforma proporcionada por LM Studio Search UI, o puedes descargarlo tú mismo y especificar que se llame en el directorio relevante.
Buscamos Phi3 en LM Studio Search y descargamos el modelo gguf de Phi-3
Gestionar los modelos descargados a través de LM Studio
Seleccionamos Phi-3 en LM Studio Chat y configuramos la plantilla de chat (Preset - Phi3) para comenzar el chat local con Phi-3
Nota:
a. Puedes configurar parámetros a través de la Configuración Avanzada en el panel de control de LM Studio
b. Debido a que Phi-3 tiene requisitos específicos de plantilla de chat, se debe seleccionar Phi-3 en Preset
c. También puedes configurar diferentes parámetros, como el uso de GPU, etc.
LM Studio soporta el despliegue rápido de servicios locales, y puedes construir servicios de modelo sin necesidad de codificar.
Este es el resultado en Postman
Descargo de responsabilidad: Este documento ha sido traducido utilizando servicios de traducción automática basados en IA. Si bien nos esforzamos por lograr precisión, tenga en cuenta que las traducciones automáticas pueden contener errores o imprecisiones. El documento original en su idioma nativo debe considerarse la fuente autorizada. Para información crítica, se recomienda la traducción humana profesional. No nos hacemos responsables de cualquier malentendido o interpretación errónea que surja del uso de esta traducción.