Red Hat compra la compañía de optimización de modelos de IA Neural Magic

Red Hat ha anunciado la compra de la startup Neural Magic, una empresa nacida en 2018 como spinoff del MIT dedicada al desarrollo de software y algoritmos de optimización de procesos utilizando IA generativa. En concreto, sus sistemas se encargan de la aceleración de las cargas de trabajo de inferencia de la IA generativa.

La compañía cuenta por tanto con experiencia en ingeniería de rendimiento de inferencia, y desde sus inicios ha mostrado compromiso con el código abierto, lo que la ponía en línea con la visión que tiene Red Hat para las cargas de trabajo de IA de alto rendimiento que se adaptan de forma directa a los casos de uso y datos concretos del cliente en cualquier punto de la nube híbrida.

Los modelos grandes de lenguaje que apoyan los sistemas de IA generativa aumentan cada vez más de tamaño, lo que hace que también suba la potencia de cálculo necesaria para el desarrollo de LLMs rentables y fiables. También el consumo de recursos energéticos que se precisan para conseguirlo, así como las habilidades operativas especializadas para ejecutarlos. Esto hace que contar con una IA personalizada, lista para implementar y con un nivel adecuado de consciencia de seguridad sea cada vez más complicado para las empresas.

Ante esto, Red Hat tiene entre sus objetivos conseguir que la IA generativa sea más accesible para las empresas a través de la innovación abierta que plantea el proyecto vLLM. Desarrollado por la Universidad de California en Berkeley, este proyecto está impulsado por la comunidad para open model serving, es decir, incide directamente en cómo infieren y resuelven problemas los modelos de IA generativa.

El proyecto vLLM ofrece soporte para todas las familias de los principales modelo, investigación avanzada en aceleración de inferencia y varios backends de hardware,. Estos incluyen GPUs de AMD o Nvidia, AWS Neuron, TPUs de Google, Intel Gaudi y CPUs x86. Neural Magic es una de las compañías que han destacado más hasta ahora dentro del proyecto vLLM, lo que llamó la atención de Red Hat y ha derivado en su compra.

La operación sumará su experiencia a la cartera de tecnologías de IA para nube híbrida de Red Hat, lo que llevará a que esta pueda ofrecer a sus clientes soluciones para el desarrollo de estrategias de IA específicas para cubrir sus necesidades, sin importar dónde estén alojados sus datos.

Con la experiencia y conocimiento del proyecto vLLM, Neural Magic desarrolla un stack de inferencia empresarial para optimizar, desplegar y escalar cargas de trabajo de LLM en entornos de nube híbrida con control total sobre la elección de la infraestructura, las políticas de seguridad y el ciclo de vida del modelo.

Además, realiza tareas de investigación en optimización de modelos, desarrolla la biblioteca LLM Compressor de optimización de LLM con algoritmos de dispersión y cuantización, y mantiene un repositorio de modelos preoptimizados y listos para implementar con vLLM. Todo esto hará que Red Hat AI mejore su capacidad para admitir despliegues de modelos grandes de lenguaje en cualquier punto de la nube híbrida con un stack de inferencia optimizado y abierto.

Según Matt Hicks, CEO y Presidente de Red Hat, «las cargas de trabajo de IA deben ejecutarse donde estén los datos del cliente en la nube híbrida; esto hace que las plataformas y herramientas flexibles, estandarizadas y abiertas sean una necesidad, ya que permiten a las organizaciones seleccionar los entornos, recursos y arquitecturas que mejor se adapten a sus necesidades únicas operativas y de datos. Estamos encantados de complementar nuestra cartera de IA centrada en la nube híbrida con la innovadora revolucionaria en IA de Neural Magic, impulsando nuestro objetivo de no solo ser el ‘Red Hat’ del código abierto, sino también el «Red Hat» de la IA«.

Por su parte, Brian Stevens, CEO de Neural Magic, ha destacado que «el código abierto ha demostrado una y otra vez que impulsa la innovación a través del poder de la colaboración comunitaria. En Neural Magic, hemos reunido a algunos de los mejores talentos de la industria en ingeniería de rendimiento de IA con la misión singular de construir capacidades de servicio LLM abiertas, multiplataforma y ultraeficientes. Unirnos a Red Hat no solo es una coincidencia cultural, sino que beneficiará a empresas grandes y pequeñas en sus viajes de transformación de IA«.