CyberArk представляє революційний інструмент із відкритим кодом для запобігання злому моделей ШІ.

Компанія CyberArk, лідер у сфері захисту ідентичності, запустила FuzzyAI — платформу з відкритим кодом, здатну обходити захист основних моделей ШІ. FuzzyAI допомагає виявляти вразливості, такі як обхід обмежень і генерація шкідливого контенту в системах ШІ.

 FuzzyAI допомагає вирішити частину цих проблем, пропонуючи організаціям систематичний підхід до тестування моделей ШІ на стійкість до різних ворожих впливів, виявляючи потенційні вразливості в їхніх системах безпеки та роблячи розробку і впровадження ШІ безпечнішими. Основою FuzzyAI є потужний фаззер — інструмент для виявлення дефектів і вразливостей у програмному забезпеченні, здатний знаходити недоліки за допомогою більш ніж десяти різних атак, зокрема обходу етичних фільтрів і розкриття прихованих системних підказок.

Ключові особливості FuzzyAI:

• Комплексне фаззинг-тестування: FuzzyAI перевіряє моделі ШІ, використовуючи різні методи атак для виявлення вразливостей, таких як обхід захисних механізмів, витік інформації, впровадження шкідливих запитів або генерація небезпечного контенту.
• Розширювана платформа: Організації та дослідники можуть додавати власні методи атак, адаптуючи тести до специфічних вразливостей у своїй галузі.
• Спільнота розробників: Зростаюча екосистема, керована спільнотою, сприяє постійному вдосконаленню методів атак і захисних механізмів.

FuzzyAI надає організаціям та дослідникам можливість виявляти слабкі місця та активно зміцнювати свої системи ШІ для захисту від нових загроз.