Red Hat actualiza OpenShift AI con mejoras para la escalabilidad y flexibilidad de la IA

Red Hat ha actualizado su plataforma de aprendizaje automático e Inteligencia Artificial OpenShift AI, con mejoras centradas en la flexibilidad y la escalabilidad de la IA. Red Hat OpenShift AI 2.15 contará con tanto con capacidades optimizadas de ajuste y seguimiento para la creación e implementación de aplicaciones preparadas para IA a escala en entornos de nube híbrida, entre otras novedades.

Con todas, los usuarios de la plataforma tendrán más facilidades para acelerar sus trabajos de IA y machine learning, así como para conseguir más consistencia en sus operaciones. También con más regularidad y más solidez en seguridad en nubes públicas, centros de datos y entornos edge.

Entre las funciones avanzadas que ofrece Red Hat OpenShift AI 2.15 está el registro de modelos, aunque por ahora en fase de pruebas tecnológicas. Se trata de un repositorio de modelos centralizado, en el que se pueden visualizar y gestionar los que estén registrados.

Permite compartir, versionar, desplegar y supervisar modelos de IA generativa y predictiva, así como metadatos y artefactos de modelos, de manera organizada y estructurada. Además, da la oportunidad de configurar varios registros de modelos.

Otra de sus novedades es la detección de desviación de datos, que tiene como objetivo monitorizar cambios en la distribución de datos de entrada para los modelos de machine learning desplegados. Con ella, los científicos de datos pueden detectar cuándo se desvían de manera significativamente los datos en tiempo real empleados para la inferencia del modelo de los datos de entrenamiento. Esto redunda en modelos más fiables, gracias a que estará en línea con los datos real y será posible mantener la precisión de sus predicciones en el tiempo.

OpenShift AI también incluirá ahora mejoras en herramientas de detección de sesgos, dedicadas a comprobar la imparcialidad y equidad de los modelos, de cara a mejorar la confianza en ellos. Estas herramientas, además de informar sobre posibles sesgos en datos de entrenamiento, también monitorizan la imparcialida de los modelos al desplegarlos en entornos reales.

Las herramientas de detección de sesgo se integran en la plataforma desde la comunidad TrustyAI, de código abierto, que ofrecerá un paquete para desarrollar e implementar la IA de manera responsable.

El ajuste eficiente con adaptadores de rango bajo (LoRA) permite que los modelos grandes de lenguaje se puedan ajustar con más eficiencia. Así, las empresas tienen más facilidades para escalar las cargas de trabajo de IA, al mismo tiempo que rebajan costes y consumo de recursos.

Por otra parte, también se consigue mejorar en rendimiento y la flexibilidad gracias a la optimización de entrenamiento y ajuste de modelos en entornos nativos cloud. Y la compatibilidad con el conjunto de microservicios de interfaz Nvidia NIM, por su facilidad de uso, lleva a una aceleración de la entrega de aplicaciones de IA generativa.

La integración con NIM sale de la plataforma Nvidia AI Enterprise, y ayudará a acelerar los despliegues de IA generativa. Lo consigue en parte gracias a su compatibilidad con una gama amplia de modelos de IA para ofrecer inferencia escalable, tanto en local como en cloud, a través de APIs.

Al ser ahora compatible con GPUs de AMD, Red Hat OpenShift AI ofrece acceso a una imagen de AMD ROCm workbench para desarrollar modelos con GPUs de AMD. También da acceso a imágenes para casos de uso de servicio y entrenamiento con estas GPUs.

Red Hat OpenShift AI 2.15 también contará con nuevas funciones para servicio de modelos de IA generativa, incluyendo el tiempo de ejecución de servicio vLLM para KServe. Esta capacidad incorpora el tiempo de ejecución del servicio de modelo de código abierto para desplegar modelos grandes de lenguaje. Además, permiten que los usuarios puedan añadir opciones personalidades a la plataforma en función de sus necesidades.

La plataforma también será desde ahora compatible con Model cars de KServe, e incorporará los repositorios de Open Container Initiativa (OCI) como opción para almacenar y acceder a versiones de modelos en contenedores. En cuanto a la elección de rutas privadas o públicas para los endpoints en KServe, facilita el refuerzo de la seguridad del modelo, y los dirige a endpoints internos cuando se necesite.

OpenShift AI 2.15, que estará disponible desde mediados de este mes, mejora los pipelines de ciencia de datos y el seguimiento de experimentos, además de facilitar la gestión, comparación y análisis de las ejecuciones de pipelines agrupadas en una estructura lógica.

También integra ajuste de hiperparámetros con Ray Tune, incluyendo algoritmos de optimización avanzados para la mejora de la precisión y la eficiencia del entrenamiento de modelos de IA predictiva y generativa.