Azure AI Content Safety, un servicio de Microsoft para detectar contenido dañino generado por IA

Microsoft ha abierto un servicio centrado en ayudar a la detección y filtrado de contenido generado por IA que puede resultar dañino. Se trata de Azure AI Content Safety, y funciona tanto con servicios como con aplicaciones para analizar el contenido generado por usuarios con apoyo de la Inteligencia Artificial.

El servicio incluye tanto detección de texto como de imagen, y su misión principal es identificar contenido que, según Microsoft, resulte ofensivo, indeseable o entrañe riesgo. Entre este tipo de contenido están las obscenidades y groserías, los insultos, el contenido no apto para menores, el contenido sangriento, la violencia y ciertos tipos de discurso.

Azure AI Content Safety tiene la capacidad de gestionar varias categorías de contenido, además de ser compatible con varios idiomas. También detecta amenazas. Todo hace que sus usuarios tengan facilidades para moderar contenidos de texto y con imágenes.

Incorpora funciones para revisión de imágenes que usan algoritmos de IA para revisarlas, así como para escanear, analizar y moderar contenido visual. De esta manera, la herramienta asegura que sus usuarios cuentan con medidas de seguridad exhaustivas para filtrar contenidos generados por IA.

Permite moderar contenido en varios idiomas, y emplean unas métricas muy completas para determinar la gravedad de contenidos en una escala que va del 0 al 7. El contenido catalogado en ella como 0-1 se considera seguro y apropiado para todo tipo de audiencias. El contenido marcado como 2-3 expresará prejuicios, será moralista o se considerará tendencioso. Pero su nivel de peligro será considerado bajo.

El contenido ya con peligrosidad de nivel medio, catalogado como de grado 4 o 5, está pensado para el que cuenta con lenguaje ofensivo, insultante o intimidatorio. También para textos o imágenes que se mofan de otros. También se catalogan en este bloque los ataques contra diversos grupos identitarios.

La clasificación de contenido peligroso de nivel alto, que corresponde a los niveles 6 y 7, se reserva para contenidos que promueven actos dañinos, que alaben o apoyen cualquier tipo de actividad dañina hacia grupos identitarios.

Azure AI Content Safety también usa filtrado multicategoría para identificar y categorizar contenido dañino en varios sectores críticos. Entre ellos odio, violencia, autolesiones y contenido sexual. Este servicio, de pago, se factura mediante el sistema de pago por uso.

Louise Han, Responsable de producto para Azure Anomaly Detector, ha subrayado que centrarse en la seguridad del contenido «permite crear un entorno digital más seguro, que promueva el uso responsable de la IA y proteja el bienestar de los individuos y de la sociedad en conjunto. En lo que respecta a la seguridad online, es crucial mirar más allá del contenido generado por humanos, especialmente a medida que el contenido generado por IA se convierte en predominante. Asegurar la precisión, fiabilidad y ausencia de materiales inapropiados o dañinos en las respuestas generadas por IA es esencial. La seguridad del contenido no solo protege a los usuarios de la desinformación o de un daño potencial, sino que también mantiene los estándares éticos y genera confianza en las tecnologías con IA«.