llama.cpp archivos

llama.cpp: optimizaciones que siguen sorprendiendo

diciembre 1, 2024 javi

Pantalla con código de terminal mostrando ejecución de procesos, evocando las optimizaciones de bajo nivel de llama.cpp

llama.cpp es la base silenciosa del LLM local. 2024 trajo speculative decoding, RPC distribuido y backends de GPU renovados. Cuándo usarlo directo y cuándo dejar que Ollama lo envuelva.

Ollama en 2024: ejecutar LLM localmente sin dolor

noviembre 28, 2024 javi

Portátil con interfaz de terminal en un entorno de trabajo minimalista, representando la ejecución local de LLM con Ollama

Ollama consolidó como standard para LLMs locales. Features 2024, models catalog, integración apps y cuándo usar vs vLLM.

Cuantizacion de modelos y llama.cpp en tu portatil

noviembre 4, 2023 javi

Portátil moderno mostrando salida de terminal con texto generado

Con cuantización y llama.cpp se puede ejecutar Llama 2 7B/13B en un portátil moderno. Cómo funciona y qué calidad esperar realmente.