CyberArk представляет революционный инструмент с открытым исходным кодом для предотвращения взлома моделей ИИ

Компания CyberArk, лидер в области защиты идентичности, запустила FuzzyAI — платформу с открытым исходным кодом, способную обходить защиту основных моделей ИИ. FuzzyAI помогает выявлять уязвимости, такие как обход ограничений и генерация вредоносного контента в системах ИИ.

 FuzzyAI помогает решить часть этих проблем, предлагая организациям систематический подход к тестированию моделей ИИ на устойчивость к различным враждебным воздействиям, выявляя потенциальные уязвимости в их системах безопасности и делая разработку и внедрение ИИ более безопасными. В основе FuzzyAI лежит мощный фаззер – инструмент для выявления дефектов и уязвимостей в программном обеспечении, который способен обнаруживать уязвимости с помощью более чем десяти различных атак, включая обход этических фильтров и раскрытие скрытых системных подсказок.

Ключевые особенности FuzzyAI:

• Комплексное фаззинг-тестирование: FuzzyAI проверяет модели ИИ с использованием различных методов атак для выявления уязвимостей, таких как обход защитных механизмов, утечка информации, внедрение вредоносных запросов или генерация опасного контента.
• Расширяемая платформа: Организации и исследователи могут добавлять собственные методы атак, адаптируя тесты под специфические уязвимости в своей области.
• Сообщество разработчиков: Растущая экосистема, управляемая сообществом, способствует постоянному совершенствованию методов атак и защитных механизмов.

 FuzzyAI дает возможность организациям и исследователям выявлять слабые места и активно укреплять свои системы ИИ для защиты от новых угроз.