OpenAI presenta la primera versión de su Marco de Preparación, medidas para evaluar sus modelos de IA

Después de toda la polémica suscitada en torno al despido inesperado de Sam Altman, la nueva junta directiva de OpenAI ha definido las claves de la primera versión del Marco de Preparación. Se trata de una serie de instrucciones exhaustivas que habrá que seguir para supervisar que los nuevos modelos de IA creados son seguros y no suponen un riesgo para la integridad de los seres humanos.

A partir de ahora, el nuevo Marco de Preparación de OpenAI se encargará de evaluar los modelos altamente capaces de representar un riesgo catastrófico para la seguridad, mitigando esos problemas antes de que fuese demasiado tarde. Son los peligros de la denominada ‘IA de frontera’.

El método de funcionamiento del Marco de Preparación

A partir de ahora, OpenAI examinará todos los modelos de frontera para determinar si son seguros en base a cuatro categorías fundamentales: ciberseguridad, QBRN (amenazas químicas, biológicas, radiológicas y nucleares), persuasión y autonomía. El equipo estará liderado por Aleksander Madry, el cual calificará cada una en función de su nivel de riesgo (bajo, medio, alto o crítico).

De este modo, establece que solo los modelos de riesgo medio o bajo se podrán implementar, mientras que los de riesgo alto requerirán de mecanismos de mitigación. Para ello, el equipo se encargará de realizar simulacros de seguridad y de explotar al máximo las capacidades de cada modelo hasta encontrar posibles fallos. Habrá un Grupo Asesor de Seguridad que se encargará de revisar los informes y de traspasar las conclusiones a los directivos y a la propia junta.

La IA de bajo riesgo sería aquella que sirve de apoyo en ciberataques, pero que no puede programar software malicioso, mientras que una de riesgo crítico sería capaz de identificar y desarrollar vulnerabilidades sin intervención humana. En el caso de un ataque químico o nuclear, un modelo de riesgo bajo proveerá información relevante, mientras que uno de riesgo crítico podrá crear un vector de amenaza y ayudar a que cualquiera crease un ataque QBRN.

OpenAI también tiene en cuenta a los modelos capaces de replicarse o de saltarse los lineamientos de seguridad impuestos por el ser humano. También sería interesante analizar si una IA es capaz de generar, por sí misma, contenido para persuadir a cualquiera que atentase contra sus principios.

Para OpenAI resulta fundamental contar con equipos externos e internos que analicen los resultados, ayudando a definir la estrategia de futuro y evitando así una IA superinteligente capaz de destruir la humanidad.

Un equilibrio idealista para OpenAI

Pese a la reincorporación, casi inmediata, de Altman a la compañía, OpenAI quiere salvaguardar sus nuevos sistemas de IA y establecer un equilibrio de poder entre los directores y la alta dirección de la empresa. De esta forma, conseguirían mitigar riesgos capaces de generar la pérdida de cientos de miles de millones de dólares en daños económicos o incluso que provocase la muerte de muchas personas.

El equipo liderado por Madry se encargará de enviar un informe mensual al nuevo grupo asesor de seguridad interna. Posteriormente, ese grupo analizará el trabajo y enviará recomendaciones a Altman y al directorio de la compañía, renovado justo después de la destitución reciente del CEO. Así pues, Altman y su equipo podrán decidir si lanzar un nuevo sistema de IA basándose en los informes emitidos, aunque la junta podrá revertir la decisión por completo, tomando el documento como referencia.

Para Madry, la IA puede llegar a ser beneficiosa o perjudicial, por lo que dependerá del tratamiento que se le diese. De este modo, confía en que su equipo evalúe los modelos de IA más avanzados e inéditos de OpenAI para que pueda realizar cambios eficientes con la esperanza de reducir los riesgos y peligros potenciales que detectan en la IA, midiendo plenamente su eficacia.

Otros equipos de seguridad en OpenAI

Destaca también la labor de ‘los sistemas de seguridad’, los cuales se encargan de analizar productos actuales como la ‘superalineación’ (enfocada en sistema de IA extremadamente poderosos del futuro) y GPT-4.

El respaldo humano de OpenAI

El sector tech se encuentra atravesando su mejor momento, pero en el caso de OpenAI, sus ingenieros especializados en IA pueden llegar a recibir sueldos anuales de entre 180.000 y 338.000 euros. Además, hay puestos más especializados que oscilarán entre los 274.000 euros y los 412.000 euros al año, mientras que si se sumasen incentivos, primas y acciones, las cifras podrían ascender hasta los 730.000 euros anuales.