Fujitsu desarrolla un nuevo mecanismo para las DNNs

Fujitsu ha desarrollado un nuevo mecanismo de distribución de memoria para las Redes Neuronales Profundas (DNNs- Deep Neural Networks). Utilizado de manera extensiva para muchas aplicaciones de Inteligencia Artificial que implican reconocimiento y clasificación de voz y objetos, el uso de DNNs avanzados requiere de recursos computacionales masivos, imponiendo severas demandas de infraestructura de computación existentes. Con esta nueva solución desarrollada por Fujitsu Laboratories of Europe, el paralelismo de modelos se usa para distribuir los requerimientos de memoria DNN de una forma gestionada fácilmente, transparente y automatizada. Como resultado, la capacidad de las infraestructuras actuales para hacer frente a las aplicaciones de IA de gran escala se mejora considerablemente sin necesidad de nuevas inversiones.

Esta nueva solución logra un nuevo proceso de distribución de la memoria transformando las capas de redes neuronales diseñadas arbitrariamente, en redes equivalentes, en las que algunas o todas sus capas son reemplazadas por un número de partes de subcapa más pequeñas. Estas están diseñadas para ser funcionalmente equivalentes a las originales, pero son computacionalmente mucho más eficientes para ejecutar. Es importante destacar que dado que las capas originales y nuevas provienen del mismo perfil, el proceso de formación del DNN ahora transformado y distribuido converge a la del DNN original sin coste adicional.

Fujitsu Laboratories of Europe evaluó ampliamente la nueva tecnología incluyendo la aplicación del nuevo mecanismo a Caffe, un marco de aprendizaje profundo de código abierto ampliamente utilizado por las comunidades de I+D de todo el mundo. La solución logró más del 90% de eficiencia en la distribución de la memoria al transformar las capas completamente conectadas de AlexNet en varias NVIDIA GPUs. Como una tecnología independiente de  hardware, tiene la capacidad de explotar la potencia computacional de ambas unidades de procesamiento convencionales, así como los aceleradores de hardware actuales y emergentes, incluyendo, por ejemplo, NVIDIA GPUs, Intel Xeon Phi, FPGAs, ASICs, etc u otros Chips de hardware alternativos específicamente diseñados para aumentar la eficiencia computacional en Deep Learning.

Los ejemplos de aplicaciones para la nueva solución incluyen análisis de salud, análisis y clasificación de imagen de satélite, procesamiento de lenguaje natural, donde los modelos de aprendizaje profundo a gran escala son requeridos para modelar y aprender la gran complejidad del lenguaje humano, datos basados en gráficos de gran escala incluyendo dispositivos IoT, transacciones financieras, servicios de redes sociales, etc.