Categorías
Intermedio

LLMs en local: ejecuta modelos en tu hardware

Ejecuta modelos de lenguaje en tu propia máquina — sin claves de API, sin cuotas y con tus datos siempre en casa. La ruta va de la instalación de Ollama al ajuste fino en un Mac con Apple Silicon, y termina dándole memoria a tu modelo con una base de datos vectorial para RAG.

  • 5 recursos
  • ~39 min de lectura

  1. Cómo instalar Ollama para ejecutar LLM en tu ordenador

    Ollama hace trivial ejecutar modelos como Llama 2 o Mistral en tu propio ordenador: un binario, un comando y los pesos cuantizados descargándose al disco sin compilar nada. Esta guía cubre la instalación en macOS, Linux y Windows, con una valoración honesta de lo que la inferencia local puede y no puede hacer frente a los modelos de frontera.

    • 6 min

  2. Cómo instalar Ollama en macOS con Apple Silicon

    Instalar Ollama en un Mac con Apple Silicon es tan simple como ejecutar un comando de Homebrew. Después, elige el modelo según la RAM disponible (Phi-3 con 8 GB, Llama 3.1 8B con 16 GB) y expón la API HTTP local, compatible con OpenAI, en el puerto 11434 para integrarla en tus propias aplicaciones.

    • 8 min

  3. Cómo instalar oMLX en M5 Max 128 GB y exprimirlo al máximo

    Receta probada en mayo de 2026: oMLX 0.3.8 en Mac M5 Max con 128 GB, TurboQuant a 3,5-bit, stack Qwen 3.6 35B-A3B, wiring para Claude Code y benchmarks reales.

    • 14 min

  4. Cómo instalar PostgreSQL con pgvector paso a paso

    Esta guía instala PostgreSQL 16 con pgvector en Debian o Ubuntu usando el repositorio oficial PGDG, crea un rol y una base de datos dedicados, ajusta la memoria para producción y explica cuándo conviene el índice HNSW frente a IVFFlat según el volumen de vectores y la ventana de mantenimiento disponible.

    • 10 min

  5. Calculadora LLM en local

    ¿Cabe ese modelo en tu GPU? ¿Sale más barato auto-alojarlo que la API? Calcula la VRAM y el punto de equilibrio de costes.

    • 1 min