Artificial Intelligence
Mixtral 8x22B: Open and Powerful Mixture of Experts
Mistral liberó Mixtral 8x22B por magnet link sin fanfarria. Qué aporta técnicamente, cómo se compara con 8x7B y GPT-4, y qué hardware necesita.
Tag
moe
Artificial Intelligence
Gemini 1.5: Millions of Tokens of Context in Production
Gemini 1.5 Pro demostró que el contexto de un millón de tokens es real. Qué cambia en RAG y arquitecturas cuando el modelo puede procesar un libro entero.