Etiqueta
Ollama 0.5 o superior ejecuta Llama 3.3 70B y Mistral Large 2 en local sobre Ubuntu 24.04: la cuantización Q4_K_M deja que una sola GPU NVIDIA de 24 GB de VRAM, una RTX 4090 por ejemplo, mueva el modelo completo. Esta guía instala los drivers, monta Open WebUI y expone el servicio tras Traefik con TLS.
Hace un año los pesos abiertos eran una apuesta; hoy son una opción de producción real. Repaso lo que ha funcionado, lo que no y cómo están encajando Llama, DeepSeek, Qwen y Mistral en arquitecturas empresariales que antes dependían de APIs cerradas.
Meta publicó Llama 3.2 con modelos de 1B y 3B parámetros cuantizados a 4 bits para ejecutarse en dispositivos con recursos limitados. El 3B ocupa 2 GB y alcanza 30-60 tokens por segundo en un portátil con M2. No compite con GPT-4: cubre clasificación, extracción estructurada y conversación guiada sin depender de APIs externas.
Elegir un LLM abierto para empresa en 2024 ya no se limita a Llama 2: Mistral, Mixtral, Qwen, Yi, DeepSeek y Phi-2 compiten con licencias y tamaños distintos. Los criterios que de verdad deciden son la licencia comercial, el hardware disponible, el soporte de idioma y una evaluación propia sobre casos de uso reales, no solo el benchmark de moda.
