Desplegar Llama 3.3 y Mistral en local con Ollama y Open WebUI en Ubuntu 24.04
Tutorial paso a paso siguiendo la serie histórica de jacar.es: instalación, GPU, modelos cuantizados y exposición segura tras Traefik.
Etiqueta
Tutorial paso a paso siguiendo la serie histórica de jacar.es: instalación, GPU, modelos cuantizados y exposición segura tras Traefik.
Ollama consolidó como estándar para LLMs locales. Catálogo curado, API compatible con OpenAI, soporte multiplataforma y cuándo usarlo frente a vLLM.
Instalar Ollama en un Mac con Apple Silicon, elegir el modelo adecuado según la RAM disponible y exponer la API local para integrarla con tus aplicaciones.
LM Studio convierte cualquier portátil moderno en laboratorio de LLMs locales. Para quién es y cuándo supera a Ollama u OpenWebUI.
Ollama hace trivial ejecutar modelos como Llama 2 o Mistral en local. Instalación en macOS, Linux y Windows, y una lectura honesta de qué se puede y qué no.