Huawei redefine el almacenamiento de datos mediante IA

Huawei presenta su visión para el futuro del almacenamiento de datos en el Innovative Data Infrastructure Forum 2024 celebrado en Berlín, Alemania. El gigante chino apuesta por una infraestructura de datos AI Ready Data con un alto rendimiento, fiable, escalable, sostenible y que permita el tejido de datos.

El Dr. Peter Zhou, vicepresidente de Huawei y presidente de la línea de productos de almacenamiento de datos, ha destacado la necesidad de transformar el almacenamiento de datos tradicional para satisfacer las demandas de la era de la IA. Según Zhou, el consumo de datos se está disparando y las tecnologías de almacenamiento actuales no están a la altura para ofrecer lo que se espera de ellas.

Huawei propone una serie de soluciones para abordar estos desafíos, alineadas con la tendencia general de la industria hacia la IA y el análisis de datos. A medida que las empresas recopilan y analizan más datos, necesitan soluciones de almacenamiento de datos más potentes y escalables.

Problemas actuales que se necesitan abordar

Desde la década de los noventa, las aplicaciones empresariales de almacenamiento han ido evolucionando desde simple hospedaje, bases de datos y virtualización, hasta el Big Data y el análisis de alto rendimiento (HPDA), lo que ya llevado a un cambio en las tecnologías de almacenamiento DAS, SAN y NAS para tener la capacidad de manejar datos no estructurados. Ahora, la IA generativa es el siguiente paso, con modelos que cada vez hacen más uso de la GPU, surgiendo nuevos retos y problemas para el entrenamiento de los algoritmos.

El largo proceso de escribir repetidamente datos de puntos de control y reanudar el entrenamiento genera un tiempo de inactividad en la GPU, con caídas del rendimiento del modelo de IA hasta del 50%. Esto implica problemas en la eficiencia del centro de datos, es decir, un consumo energético poco productivo. Se estima que para 2026 el consumo de energía de los centros de datos a nivel global será 2.3x veces superior al de 2022, y más de la mitad de este consumo total estará causado por el procesamiento de los algoritmos de IA.

La infraestructura AI Ready Data de Huawei trae la solución

Las claves de la propuesta de Huawei para la infraestructura son:

• Ultra rendimiento: aumento del rendimiento del almacenamiento de datos actual en un factor de 1 a 10, con un ancho de banda de PB/s y 100 millones de IOPS. Algo fundamental, ya que la IA necesita alimentarse de gran cantidad de datos, y la latencia de acceso a estos datos es vital.
• Resiliencia de datos: alta fiabilidad del 99,9999% y detección de ransomware con una eficacia del 99,99%, evitando así problemas de fiabilidad o disponibilidad del servicio.
• Nuevo paradigma de datos: Soporte para datos multidimensionales, recuperación rápida de datos y eliminación de alucinaciones en grandes modelos de IA.
• Escalabilidad: se permitirá expansiones a nivel de capacidad de EB y soporte para múltiples GPU, DPU o NPU.
• Sostenibilidad: eficiencia energética de almacenamiento excepcional (menos de 1 W/TB) y densidad de almacenamiento (mayor de 1 PB/U).
• Estructura de datos: mejoras en la visibilidad y gestión de datos globales, con movilidad de datos 10 veces más eficiente.

Estas innovaciones se han concretado en el lanzamiento del OceanStor A800, un sistema de almacenamiento de alto rendimiento que ofrece un aprovechamiento del 30% más del modelo de IA, cuatro veces más de ancho de banda y ocho veces más de IOPS que las soluciones de la competencia. Huawei también está impulsando el desarrollo sostenible con nuevos medios de almacenamiento, como los SSD de alta capacidad que proporcionan 10 veces más capacidad con el mismo tamaño de disco y reducen el consumo de energía en un 88%.

Además, para estar preparadas para la IA, las empresas necesitan una infraestructura de datos robusta y escalable. Huawei ofrece una solución integral que incluye el sistema de archivos globales Omni-Dataverse, que hace que los activos de datos sean visibles, manejables y móviles en todas las regiones.