llama 3.1

Llama 3.1 405B: cuando lo abierto alcanza al top cerrado

Meta lanzó Llama 3.1 405B el 23 de julio de 2024: 405 000 millones de parámetros, 128k tokens de contexto y benchmarks equivalentes a GPT-4o y Claude 3.5 Sonnet. El self-hosting exige unos 220 GB de VRAM en Q4; Together.ai, Fireworks y Groq lo ofrecen por token.