Mixtral 8x22B: mixture of experts abierto y potente

Mixtral 8x22B es el modelo Mixture of Experts de Mistral AI liberado en abril de 2024: 141B parámetros totales pero solo 39B activos por token, licencia Apache 2.0 sin restricciones comerciales y rendimiento multilingüe superior a Llama 3 70B en español, francés, italiano y alemán. Requiere GPU de datacenter para servirlo en producción real.

11 de abril de 2024 5 min 730

Inteligencia Artificial

Gemini 1.5: contexto de millones de tokens en producción

Gemini 1.5 Pro irrumpió en febrero de 2024 con un contexto de un millón de tokens verificado. Recupera más del 95% de los datos hasta los 530.000 tokens en pruebas de recuperación, lo que transforma el diseño de sistemas RAG, hace viable el análisis de documentos completos y habilita nuevos patrones arquitectónicos con context caching.

26 de febrero de 2024 6 min 232 4,3