HPE abraza el aprendizaje automático descentralizado con su solución Swarm Learning

HPE se adentra en el aprendizaje automático descentralizado con HPE Swarm Learning, que aprovecha el enfoque, desarrollado recientemente, de la Inteligencia Artificial de aprendizaje de enjambre para obtener valor de los datos generados en el edge o en localizaciones distribuidas, y hacerlo sin merma de seguridad y de manera equitativa.

Con HPE Swarm Learning, que ya está disponible, las organizaciones pueden compartir únicamente los aprendizajes del modelo de Inteligencia Artificial, y no los datos, con otras organizaciones. De esta manera podrán aprovechar conjuntos de datos distribuidos de mayor envergadura, mejorar la precisión de los modelos y reducir los sesgos. Todo sin perder control de los datos ni poner en riesgo su privacidad.

Sus posibles usos son múltiples, y de hecho ya se han registrado avances al probarla en la lucha contra el cáncer de colon en la Universidad de Aachen, pero también puede utilizarse en áreas como la detección de fraudes en créditos, en determinados servicios financieros, en fábricas para predecir cuándo será necesario realizar el mantenimiento de maquinaria o en hospitales, y para mejorar la información de escáneres y otras pruebas de imagen con el fin de optimizar los diagnósticos.

Desarrollada por Hewlett Packard Labs, la organización de investigación y desarrollo de HPE, Swarm Learning es un entorno de machine learning descentralizado que tiene entre sus fines la preservación de la privacidad. Como hemos mencionado, funciona tanto para el edge como para ubicaciones distribuidas. Se trata de una solución que ofrece a los clientes contenedores que se integran con facilidad con modelos de Inteligencia Artificial a través de la API HPE Swarm.

En la actualidad, la mayoría del entrenamiento de modelos de Inteligencia Artificial se da en una ubicación central, que se basa en conjuntos de datos fusionados y centralizados. Pero este enfoque puede ser ineficaz y generar costes elevados, debido a la necesidad de desplazar grandes volúmenes de datos a una misma fuente. También puede complicarse por las normas de privacidad de datos y su propiedad, limitando el movimiento de datos y su compartición. Esto puede llevar a modelos imprecisos y parciales. Pero al entrenar modelos y conseguir datos en el edge, las empresas pueden tomar decisiones con más rapidez, y en el punto en el que tienen impacto. Esto lleva a mejores experiencias y resultados.

Compartir datos con terceros puede resultar un problema para las empresas y organizaciones que tienen que cumplir normativas de gobernanza y leyes que establezcan que los datos tienen que permanecer en su ubicación original. Pero HPE Swarm Learning permite a las organizaciones utilizar datos distribuidos en su fuente, lo que aumenta el tamaño del conjunto de datos que pueden utilizar en los entrenamientos para desarrollar modelos de machine learning para aprender de manera equitativa, y sin descuidar la privacidad ni la gobernanza de datos.

Para asegurar que solo se comparten aprendizajes capturados en el edge, y no sus datos, HPE Learning emplea tecnología blockchain para insertar de manera segura a los miembros, elegir un líder de forma dinámica, y fusionar los parámetros de modelos para ofrecer resiliencia y seguridad a la red de aprendizaje. Además, al compartir únicamente los aprendizajes, HPE Swarm Learning permite a los usuarios aprovechar conjuntos de datos de entrenamiento de gran tamaño, sin reducir el nivel de privacidad. También contribuye a la eliminación de sesgos para aumentar la precisión de los modelos.

Justin Hotard, Vicepresidente y responsable de HPC & AI en HPE, y el encargado de presentar esta nueva solución, ha señalado que «el swarm learning es un enfoque nuevo y potente a la Inteligencia Artificial, que ha avanzado en el abordaje de desafíos globales, como el cuidado avanzado de pacientes en sanidad y la mejora de la detección de anomalías que ayudan en los esfuerzos en detección de fraude y mantenimiento predictivo. HPE está contribuyendo al movimiento de swarm learning de manera significativa, ofreciendo una solución de empresa que permite a las organizaciones colaborar, innovar y acelerar la potencia de los modelos de Inteligencia Artificial, al mismo tiempo que preservan loe estándares de gobernanza, la privacidad de los datos y la ética de cada entidad«.

Nuevo sistema de desarrollo de machine learning de HPE

Además de esta solución, HPE ha anunciado también una solución de desarrollo de aprendizaje automático completa y lista para utilizar, con la que sus usuarios podrán crear y entrenar modelos de machine learning de forma inmediata y a escala, y hacerlo desde el primer momento que la utilicen. Con esta solución, basada en Determined AI, se pueden abordar problemas complejos y costosos de infraestructura de Inteligencia Artificial, y facilitar la obtención de valor en unos días, un plazo mucho menor de lo habitual.

Diseñado a propósito para la Inteligencia Artificial, el sistema es una solución que engloba una plataforma de software, computación especializada con aceleradores, redes, servicios y comunicaciones para desarrollar y entrenar modelos de Inteligencia Artificial con más rapidez, precisión y a escala. Además, el sistema ayuda a la mejora de la precisión de los modelos con más rapidez con un entrenamiento distribuido de última generación, optimización automatizada de hiperparámetros y búsqueda de arquitectura neuronal, elementos clave para los algoritmos de machine learning.

Este sistema de desarrollo de machine learning de HPE ofrece computación optimizada, acelerada e interconexión, factores clave de rendimiento para escalar modelos de manera eficiente para la combinación de cargas de trabajo. Para ello toma como base una configuración de 32 GPU que se puede ampliar hasta una de más envergadura, con 256 GPU. En la primera de las configuraciones, el sistema de desarrollo de machine learning de HPE ofrece una eficiencia de escalado de alrededor de un 90% para cargas de trabajo relacionadas con procesado de lenguaje natural (PLN) y visión artificial por ordenador. Además, según diversas pruebas el sistema de ML de HPE con 32 GPU es hasta 5,7 veces más rápido para una carga de trabajo con el mismo número de GPUs pero con peor interconexión.

El sistema de desarrollo de machine learning (ML) de HPE, ya disponible, se ofrece como solución integrada que proporciona una infraestructura de Inteligencia Artificial completamente preconfigurada para desarrollar modelos «llave en mano» y entrenamiento a escala. Como parte de la oferta, HPE Pointnext Services ofrecerá instalación y configuración del software en local, lo que permitirá implementar y entrenar de inmediato modelos de machine learning.

Se ofrece a partir de una configuración base, que cuenta con opciones para ir creciendo y que inicialmente cuenta con una plataforma de machine learning con HPE Machine Learning Development Environment para escalar modelos precisos desde la POC hasta producción. También ofrece una infraestructura de Inteligencia Artificial optimizada con el sistema HPE Apollo 6500 Gen10 para contar con capacidad de computación masiva y especializada para el entrenamiento y optimización de modelos, a partir de 8 GPUs Nvidia A100 de 80 GB.

Además, contará con HPE Performance Cluster Management, lo que aportará al sistema funciones de supervisión y gestión centralizadas y precisas para conseguir una optimización del rendimiento. Este sistema emplea servidores HPE ProLiant DL325 y Switches Ethernet Aruba CX 6300 de 1 GB, así como con la plataforma de comunicaciones NVIDIA Quantum InfiniBand.