Microsoft ha lanzado una herramienta de código abierto creada para ayudar a los desarrolladores a evaluar la seguridad de los sistemas de inteligencia artificial en los que están trabajando. Se llama proyecto Counterfit y ahora está disponible en GitHub.
La propia firma de Redmond ya ha utilizado Counterfit para probar sus propios modelos de IA, en el equipo rojo de la compañía. Además, otras secciones de Microsoft también están explorando el uso de la herramienta en el desarrollo de IA.
Microsoft simula ciberataques con Counterfit
Según las revelaciones de Microsoft en GithubCounterfit tiene una herramienta de línea de comandos y una capa de automatización genérica para evaluar la seguridad de los sistemas de aprendizaje automático.
Esto permite a los desarrolladores simular ciberataques contra sistemas de inteligencia artificial para probar la seguridad. Cualquiera puede descargar la herramienta e implementarla a través de Azure Shell, para ejecutarla en el navegador o localmente en un entorno Anaconda Python.
“Nuestra herramienta hace que los algoritmos de ataque publicados sean accesibles para la comunidad de seguridad y ayuda a proporcionar una interfaz extensible desde la cual construir, administrar y lanzar ataques a modelos de IA”, dijo Microsoft.
La herramienta viene precargada con algoritmos de ataque de muestra. Además, los profesionales de la seguridad también pueden utilizar el motor de secuencias de comandos cmd2 incorporado para conectarse a Counterfit desde otras herramientas ofensivas existentes con fines de prueba.
Según ITPro, Microsoft desarrolló la herramienta debido a la necesidad de evaluar sus sistemas en busca de vulnerabilidades. Counterfit comenzó como scripts de ataque escritos para atacar modelos de IA individuales y gradualmente evolucionó hasta convertirse en una herramienta de automatización para atacar múltiples sistemas.
La compañía dice que ha trabajado con varios de sus socios, clientes y entidades gubernamentales para probar la herramienta con modelos de IA en sus entornos.
