OpenAI trabaja en Foundry, plataforma para ejecutar sus modelos de ML en instancias dedicadas

OpenAI, la compañía creadora de ChatGPT, está ya trabajando en su próximo producto. Se trata de Foundry, una plataforma para desarrolladores que permitirá la ejecución de los modelos de machine learning de la empresa, como GPT-3.5, en instancias dedicadas. Por ahora solo un reducido número de usuarios del sistema tienen acceso a la plataforma, a la que se califica como «diseñada para clientes innovadores que ejecutan cargas de trabajo mayores«.

En la documentación del servicio, según Techcrunch, figura que la plataforma permite «la inferencia a escala, con control completo de la configuración del modelo y del perfil de rendimiento«. Por ahora no hay mucha información más del servicio, salvo varias capturas de pantalla que han mostrado sus usuarios.

De ellas se desprende que, si Foundry tiene finalmente las características y funciones que aparecen en ella, ofrecerá una «ubicación estática» de capacidad de computación para un solo cliente. Puede que en Azure, que es la plataforma de nube pública que más gusta en OpenAI.

Los usuarios de Foundry podrán monitorizar instancias específicas con las mismas herramientas y paneles de control que usan en OpenAI para desarrollar y optimizar modelos. Además, Foundry ofrecerá algún tipo de nivel de control de versiones, lo que permitirá que sus clientes puedan decidir si se actualizan o no a nuevos lanzamientos de modelos actualizados. También aportará un ajuste preciso más sólido para los últimos modelos de OpenAI.

Aparte de todo esto, Foundry ofrecerá compromisos, a nivel de servicio, de tiempo en activo de la instancia. También soporte programado de ingeniería. Los alquileres estarán basados en unidades de computación dedicadas, con compromiso de contratación de tres meses o de un año. Ejecutar una instancia con un modelo individual requerirá un número determinado de unidades de computación, que dependerán de varios factores.

Eso sí, alquilar y utilizar las instancias con Foundry no va a ser precisamente barato. Ejecutar una versión ligera de GPT-3.5 costará 78.000 dólares cada tres meses, o 264.000 dólares al año. Estos precios, y el lanzamiento de Foundry, podrían responder a las presiones crecientes de Microsoft, tras su inversión en OpenAI, para que la compañía consiga beneficios, complicado sobre todo por los elevados costes de computación a los que tienen que hacer frente para entrenar sus modelos de IA, así como para realizar sus desarrollos.