Mistral anuncia el Mixtral 8x22B, un nuevo modelo para competir con OpenAI, Google y Meta

La startup francesa dedicada a la Inteligencia Artificial Mistral ha anunciado el lanzamiento de un nuevo modelo grande de lenguaje, al que ha llamado Mixtral 8x22B. Con él pretende competir con los principales nombres del panorama del sector, como OpenAI, Google o Meta. Sus creadores esperan que su rendimiento mejore notablemente al conseguido con su predecesor, Mixtral 8x7B.

El nuevo LLM de Mistral cuenta con una ventana de contexto de 65.000 tokens. Estos hacen referencia a la cantidad de texto que un modelo de IA puede procesar y al que puede referirse en un momento dado. Además, Mixtral 8x22B tiene un tamaño de parámetro de hasta 176.000 millones, una referencia al número de variables internas que el modelo usa para tomar decisiones y hacer predicciones. Está disponible para cualquiera que quiera utilizarlo, eso sí, la descarga del modelo, a través de BitTorrent, ocupa nada menos que 281 GB.

Mixtral 8x22B, que forma parte de un tipo de modelos grandes de lenguaje conocidos como modelos de frontera, es capaz de gestionar una gran variedad de tareas y peticiones. Este tipo de modelos, que tienen como fin utilizar tecnologías pioneras para superar a otros que emplean técnicas más asentadas, han generado bastante polémica por los riesgos a los que varios expertos aseguran que están expuestos.

Así, desde OpenAI señalaban ya en julio pasado que los modelos de frontera «suponen un desafío regulatorio diferente, ya que pueden desarrollar capacidades peligrosas, y es complicado evitar que un modelo desplegado tenga un mal uso, así como frenar las capacidades de un modelo de proliferar a gran escala. La autorregulación del sector es un primer paso importante. No obstante, se necesitan debates sociales más amplios, además de la intervención de los gobiernos para crear estándares y asegurar que se cumplen».

Al parecer, el enfoque que usa Mistral al desarrollo con IA, el open source, ha levantado críticas, como señala The Guardian, ya que al permitir que cualquiera que lo desee pueda descargar sus modelos y seguir con sus desarrollos de modelos de IA con base en ellos, Mistral no puede evitar que sus sistemas se usen con fines poco claros o, directamente, dañinos. Además, los modelos no se pueden sacar de la circulación si surgen sesgos o fallos que necesiten ser resueltos.

No obstante, otras grandes tecnológicas, los defienden, puesto que señalan que lleva a la obtención de resultados mejores que, literalmente, los sistemas «en las frías manos de un pequeño número de empresas muy muy grandes y bien establecidas en California«. Curiosamente, Meta es una de las que apuestan por los modelos grandes de lenguaje open source.