Microsoft añade varias herramientas de seguridad y protección a Azure AI Studio

Microsoft ha anunciado la suma de varias herramientas de protección y seguridad a Azure AI Studio, el paquete de utilidades de la compañía para el desarrollo de aplicaciones con IA generativa. Entre estas nuevas herramientas ofrecen protección contra ataques de inyección a través de Prompts, detección de alucinaciones en la salida del modelo, mensajes del sistema para dirigir a los modelos hacia una salida segura, valoraciones de la seguridad de modelos y vigilancia de la seguridad y el riesgo.

Las evaluaciones de seguridad que ha anunciado la compañía ya están disponibles en fase de pruebas en Azure AI Studio. El resto de funciones estarán disponibles próximamente. El acceso a Azure AI Studio, también todavía en etapa de prueba, se puede realizar a través de esta web.

Las protecciones para prompts con las que contará Azure AI Studio permitirán detectar y bloquear ataques realizados mediante inyección, e incluirán u nuevo modelo destinado a identificar ataques de prompt indirecto. Esta función ya está disponible en fase de prueba en Azure AI Content Safety.

Otra de las novedades, Groundness detection, está diseñada para identificar alucinaciones basadas en texto en las salidas de los modelos. Incluso si se trata de pequeñas imprecisiones. Esta función se encarga de detectar material con poca base en texto, con el objetivo de apoyar la calidad de las salidas de los modelos grandes de lenguaje.

Los mensajes de seguridad del sistema, también conocidos como Metaprompts, se encargan de moldear el comportamiento de un modelo para conseguir que produzca salidas y resultados seguros y responsable. Mientras tanto, las valoraciones de seguridad se centran en estudiar la capacidad de una aplicación para desactivar ataques y generar riesgos de contenido. Además de las métricas de calidad de modelo, también ofrecen métricas relacionadas con riesgos de seguridad y contenidos.

Por último, la monitorización de seguridad y riesgo ayuda a los usuarios a comprender qué salidas y entradas de modelos, así como qué usuarios, están activando filtros de contenidos para informar de mitigaciones. Esta función está ya disponible en fase de pruebas en el servicio Azure OpenAI de Microsoft.