Noticias
Superalineación, concepto introducido por OpenAI para garantizar la seguridad de los sistemas de IA más avanzados
Ante el avance sin límites de la IA, OpenAI ha puesto en marcha una División encargada de controlar los sistemas de IA más potentes y avanzados, los cuales superan a la inteligencia humana. El objetivo no es otro que alinearlos con los valores y objetivos de la humanidad. A esta gobernanza y seguridad frente a los sistemas superinteligentes de IA se la conoce como ‘superalineación’.
El objetivo de la ‘superalineación’ no es otro que crear sistemas de IA que no sobresalgan en sus capacidades computaciones y que actúen de manera beneficiosa y segura para la humanidad. En este sentido, OpenAI trabaja empleando los recursos computaciones para escalar los esfuerzos de alineación de la IA superinteligente y ponerlos en consonancia con los valores humanos de manera armónica.
El equipo de ‘superalineación’ de Open AI está dirigido por el cofundador y científico jefe de Open AI, Ilya Sutskever, el cual precisamente forma parte del equipo que presionó para la expulsión de Sam Altman de la compañía.
Claves del proceso de ‘superalineación’
Dentro de las investigaciones en IA, la ‘superalineación’ es considerada como un subcampo aún prematuro. En primer lugar requiere el desarrollo de una metodología de capacitación escalable, para que la IA pueda enseñarse y adaptarse de forma eficiente con los valores humanos.
Posteriormente, será necesario someterla a un riguroso proceso de validación y finalmente ajustarla a pruebas de estrés para identificar, de manera integral, posibles fallos o vulnerabilidades potenciales en el sistema. Solo así se alcanzará la plena solidez y confiabilidad.
Con la ‘superalineación’ se busca precisamente evitar resultados no deseados conforme los sistemas de IA se vuelven más avanzados y su impacto en la sociedad es más acentuado, pudiendo afectar al bienestar humano. De este modo, logrará que los sistemas de IA sean herramientas valiosas.
Como medida proactiva, la ‘superalineación’ garantiza que la IA superinteligente sea un aliado para el progreso humano, estableciendo un claro cambio de paradigma hacia una corriente beneficiosa para la humanidad.
La perspectiva de trabajo de OpenAI
El equipo de ‘superalineación’ de Open AI nació en julio. En su momento, Altman invitó a realizar comparaciones entre OpenAI y el Proyecto Manhattan, explicando cómo había que protegerse frente a los riesgos catastróficos que podía traer consigo la IA superinteligente.
El equipo de ‘superalineación’ de OpenAI viene trabajando en la configuración de marcos de gobernanza y control que podrían aplicarse a futuros potentes sistemas de IA. Para ello, es importante conocer y dirigir correctamente los sistemas más sofisticados como GPT-4 hacia rumbos óptimos.
Los modelos más débiles de IA, como GPT-2, no serán capaces de comprender las complejidades y matices de la IA superinteligente, por lo que los esfuerzos deberán ser mayores.
El equipo de ‘superalineación’ se encarga de establecer una serie de etiquetas que permiten comunicar los aspectos generales, partiendo de los modelos más débiles de IA, aunque éstos presentasen errores y sesgos. De este modo, podrían generarse incluso avances en el ámbito de las alucinaciones.
De este modo, ante las posibles imperfecciones, OpenAI pretende generar una serie de ideas de manera colectiva que permita diferenciar la realidad de la ficción, aunque se escape del poder de la mente humana.
Subvenciones a la ‘superalineación’ en Open AI
En este aspecto, cuenta con un programa de subvenciones de 10 millones de dólares para apoyar la investigación técnica sobre ‘superalineación’, destinada a laboratorios académicos, organizaciones sin ánimos de lucro, investigadores individuales y estudiantes de posgrado. Además, prevé organizar una conferencia académica al respecto a principios de 2025 para promover el trabajo de los finalistas del premio de ‘superalineación’.
Parte de la financiación para las subvenciones procederá del ex director ejecutivo y presidente de Google, Eric Schmidt, quien es un claro defensor de la idea de que los sistemas de IA más peligrosos están llegando y que los reguladores no están lo suficientemente preparados para frenarlos. Su fortuna se cifra en unos 24.000 millones de dólares, habiendo invertido ya cientos de millones en otras empresas de IA.
Para personalidades como Schmidt resulta esencial poder alinear los nuevos modelos de IA con los valores humanos de manera transparente y segura. De este modo, lo ve como un beneficio conjunto para la humanidad, siendo una investigación beneficiosa y plenamente necesaria, a su criterio.
-
OpiniónHace 6 días
10 predicciones para los proveedores de servicios gestionados en 2025
-
NoticiasHace 6 días
AMD despedirá al 4% de su plantilla mientras se centra en IA y centros de datos
-
NoticiasHace 2 días
El Capitan es el nuevo superordenador más potente y rápido del mundo
-
NoticiasHace 6 días
La Comisión Europea multa a Meta con 798 millones por perjudicar a la competencia de Marketplace