NVIDIA y Microsoft potencian el desarrollo con IA en PCs con RTX

La IA ha hecho posible numerosos avances en el mundo del PC en sectores muy diversos, como el gaming, la creación de contenidos, la productividad y el desarrollo. Actualmente unas 600 aplicaciones y juegos en Windows están preparados para ejecutar IA de forma local, y las tarjetas gráficas RTX son capaces de ofrecer todo el rendimiento necesario para mover esa IA en local.

Durante el evento Ignite, Microsoft y NVIDIA anunciaron nuevas herramientas para ayudar a los desarrolladores de Windows a construir y optimizar aplicaciones potenciadas por IA en PCs con tarjetas gráficas RTX. Estas nuevas herramientas permiten aprovechar el hardware especializado de dichas GPUs, que cuentan con componentes como núcleos tensor y acelerador de flujo óptico.

Dentro del ecosistema de soluciones que ofrece NVIDIA no hay duda de que ACE es uno de los más conocidos. Este permite crear humanos digitales, y lo tiene todo para revolucionar el mundo de los avatares, los agentes y los asistentes virtuales. También permitirá crear NPCs mucho más realistas en juegos, lo que nos llevará a un importante salto generacional.

El modelo NVIDIA Nemovision-4B-Instruct, que pronto estará disponible, utiliza el último marco NVIDIA VILA y NVIDIA NeMo para destilar, ajustar y cuantificar hasta que sea lo suficientemente pequeño como para funcionar en GPU RTX con la precisión que necesitan los desarrolladores. Este modelo permite a los humanos digitales comprender imágenes visuales en el mundo real y en la pantalla, y ofrecer respuestas relevantes.

La multimodalidad sirve como base para los flujos de trabajo de agentes, y es un anticipo de un futuro en el que los humanos digitales podrán razonar y tomar medidas de forma independiente o con una ayuda mínima por parte del usuario.

NVIDIA también ha presentado la familia Mistral NeMo Minitron 128k Instruct, un conjunto de modelos de lenguaje pequeño de contexto grande diseñados para interacciones humanas digitales optimizadas y eficientes, cuyo lanzamiento tendrá lugar próximamente. Estará disponible en versiones de 8.000 millones, 4.000 millones y 2.000 millones parámetros, este modelo ofrece opciones flexibles para equilibrar la velocidad, el uso de la memoria y la precisión en las PC con inteligencia artificial RTX.

Todas esas versiones pueden manejar grandes conjuntos de datos en una sola pasada, lo que elimina la necesidad de segmentación y reensamblaje de datos. Está construido en el formato GGUF, mejora la eficiencia en dispositivos de bajo consumo y es compatible en todas sus versiones con múltiples lenguajes de programación.

Por último, NVIDIA anunció actualizaciones de NVIDIA TensorRT Model Optimizer (ModelOpt). Con esto la compañía quiere ofrecer a los desarrolladores una solución mejorada para optimizar los modelos de cara a su implementación en ONNX Runtime. Con las últimas actualizaciones, TensorRT ModelOpt permite optimizar los modelos en un punto de control ONNX e implementar el modelo dentro de los entornos de ejecución de ONNX, utilizando proveedores de ejecución de GPU como CUDA, TensorRT y DirectML.

TensorRT-ModelOpt incluye algoritmos de cuantificación avanzados, como INT4-Activation Aware Weight Quantization (AWQ). En comparación con otras herramientas, como Olive, el nuevo método reduce aún más la huella de memoria del modelo y mejora el rendimiento en las GPU RTX. Durante la implementación, los modelos pueden tener una huella de memoria hasta 2,6 veces menor en comparación con los modelos FP16. Esto da como resultado un rendimiento superior con una degradación mínima de la precisión, y con la ventaja de que puede ejecutarse en una gama más amplia de PC.