Etiqueta
Los modelos pequeños de lenguaje se han vuelto útiles de verdad. Phi-3.5, Gemma 2 o Llama 3.2 caben en dispositivos modestos y resuelven tareas acotadas sin salir a la nube. Repaso de dónde encajan en planta y cuándo compensa saltarse el modelo grande.
Meta publicó Llama 3.2 con modelos de 1B y 3B parámetros cuantizados a 4 bits para ejecutarse en dispositivos con recursos limitados. El 3B ocupa 2 GB y alcanza 30-60 tokens por segundo en un portátil con M2. No compite con GPT-4: cubre clasificación, extracción estructurada y conversación guiada sin depender de APIs externas.
Los procesadores Copilot+ de Qualcomm, Intel y AMD han normalizado la presencia de una NPU en el PC doméstico. Una NPU de 40 TOPS puede ejecutar Phi-3 Mini cuantizado consumiendo entre 5 y 10 W, frente a los 40-50 W de una GPU de portátil haciendo la misma tarea. Qué cambia realmente para ejecutar modelos localmente y cuándo merece la pena.
