Una IA de Google valorará si los desempleados de Nevada (EEUU) deben recibir o no prestaciones

Nevada va a convertirse en el primer estado de Estados Unidos en el que una Inteligencia Artificial será la encargada de valorar si los desempleados deben recibir o no prestaciones. Las autoridades han encargado para ello un sistema de IA generativa a Google, que según Gizmodo dentro de unos meses tendrá como misión analizar las transcripciones de las apelaciones sobre desempleo que hagan estos trabajadores, así como de recomendar a los humanos encargados de tomar la decisión final sobre a quién se otorgan prestaciones si deben recibirlas o no.

Los funcionarios de Nevada aseguran que el sistema de Google ayudará a acelerar el proceso de apelaciones, reduciendo el tiempo que lleva a quienes tienen que tomar las decisiones en escribir su veredicto. Pasará, si todo sale según lo previsto, de varias horas a cinco minutos en algunos casos. Para ellos, el sistema contribuirá a que puedan reducir el retraso de casos pendientes que tienen desde el pico de la pandemia del COVID-19.

El sistema generará recomendaciones basadas en transcripciones de audio y en documentos aportados como prueba. Después enviará su análisis de si la reclamación de desempleo de una persona debe ser aprobada, denegada o modificada. Cada recomendación la revisará una persona como mínimo, según el Director del Departamento de empleo, formación y rehabilitación (DETR) de Nevada, Christopher Sewell.

La decisión final la tomarán humanos

Si la persona que revise la recomendación está de acuerdo con ella, el departamento firmará y comunicará la decisión. Si no están de acuerdo, la persona encargada de la revisión comprobará el documento y el departamento investigará la discrenpacia mostrada.

Sewell ha subrayado que las decisiones finales no se tomarán sin revisión ni interacción de los humanos, pero las primeras dudas sobre si la búsqueda de una mayor velocidad podría minar las medidas de contención con humanos que establezca la administración de Nevada. Así lo han manifestado los abogados que representan a los ciudadanos de Nevada en las audiencias de apelación.

Desde Google han contestado a estas dudas que la compañía «trabaja con clientes para identificar y valorar cualquier sesgo potencial, y para ayudarles a cumplir con los requerimientos federales y estatales«. El DETR empezó hace un año a debatir con Google sobre la posibilidad de usar IA para procesar las reclamaciones de desempleo. Desde entonces, la agencia ha hecho docenas de pruebas con la tecnología de la compañía para analizar transcripciones de audio de casos de apelación de complejidad diversa.

Sewell ha señalado que solo después de comprobar que Google había creado «un producto sólido y que está haciendo lo que es debido«, la DETR formó un contrato de un millón de dólares que aprobó la Junta de examinadores estatal el mes pasado.

Google no podrá acceder a datos sensibles ni usar los procesados con IA

Según el contrato, Google no podrá acceder a información de las audiencias de apelación que permita identificar a los demandantes de prestaciones. Además, tendrá prohibido utilizar los datos confidenciales que procese su modelo para otros fines. De esta manera intentan resolver las principales dudas planteadas sobre el uso de este sistema.

Las audiencias de apelación y los documentos asociados pueden contener información fiscal y números de la seguridad social, entre otros identificadores privados e información sensible sobre la salud de los demandantes, así como de su familia y situación financiera. Por eso la necesidad de establecer la prohibición del uso de dichos datos, así como la imposibilidad de acceder a los que permitan la identificación.

Nevada no entrenará un modelo de IA generativa para su sistema de apelaciones. Utilizará Vertex AI studio de Google, un servicio que los desarrolladores pueden utilizar para ajustar modelos fundacionales de IA para fines concretos, con el objetivo de poner en marcha un modelo de generación mejorada por recuperación (RAG).

Este tipo de modelos recogen información de una base de datos concreta. En este caso, de una que contenga casos de apelación previos y la ley de desempleo de Nevada, para contar con resultados más personalizados y precisos de los que generaría normalmente un modelo fundacional.

El sistema estará supervisado por un comité de humanos

El sistema contará con la supervisión de un comité de gobernanza, que se reunirá semanalmente mientras el modelo se ajusta, y una vez cada trimestre una vez que el modelo esté en funcionamiento, con el objetivo de vigilar su funcionamiento para detectar alucinaciones y sesgos.

Cualquier falta de precisión que pueda tener el sistema preocupa a los abogados de los Servicios legales de Nevada. Si el sistema de apelaciones con IA genera una alucinación que influye en la decisión de la persona que tiene que conceder o no las prestaciones, no solo podría estar la decisión mal tomada, sino que también podría reducir la capacidad del demandante de apelar esa decisión errónea en un tribunal civil. Por tanto, la necesidad de evitar fallos y alucinaciones en las decisiones del sistema es crucial.

Varias fuentes señalan que si se hace bien, la automatización con IA puede abordar algunos de los problemas que causaron retrasos que afectaron a la vida de los desempleados de Nevada durante la pandemia. En el estado lo ven como un paso adelante notable, que podría valer la pena si los solicitantes de prestaciones reciben sus pagos con más rapidez.

Pero también será necesario que el DETR vigile el sistema para identificar las alucinaciones, y que los examinadores humanos tengan el tiempo y el apoyo necesario para asegurarse de que pueden revisar los casos al detalle.