Deploy Llama 3.3 and Mistral locally with Ollama and Open WebUI on Ubuntu 24.04
Step-by-step tutorial in the established jacar.es series: install, GPU setup, quantized models, and secure exposure behind Traefik.
Tag
Step-by-step tutorial in the established jacar.es series: install, GPU setup, quantized models, and secure exposure behind Traefik.
Ollama consolidó como estándar para LLMs locales. Catálogo curado, API compatible con OpenAI, soporte multiplataforma y cuándo usarlo frente a vLLM.
Instalar Ollama en un Mac con Apple Silicon, elegir el modelo adecuado según la RAM disponible y exponer la API local para integrarla con tus aplicaciones.
LM Studio convierte cualquier portátil moderno en laboratorio de LLMs locales. Para quién es y cuándo supera a Ollama u OpenWebUI.
Ollama hace trivial ejecutar modelos como Llama 2 o Mistral en local. Instalación en macOS, Linux y Windows, y una lectura honesta de qué se puede y qué no.