Как обеспечить надежность ИИ-ассистентов для кибербезопасности с помощью инноваций Acalvio в области обмана и RAG

ИИ-ассистенты все активнее применяются в кибербезопасности для анализа угроз, предоставления рекомендаций и ускорения работы SOC. Создать ассистента, который работает в контролируемой среде, возможно, но обеспечить его надежность в реальных условиях с высокими рисками значительно сложнее.

Компания Acalvio недавно разработала автономную систему Retrieval-Augmented Generation (RAG) для задач кибербезопасности. Первоначальные результаты были сильными — но по мере развития моделей и фреймворков стали появляться незаметные отклонения в производительности. Система оставалась «гладкой» в диалоге, но ее релевантность со временем снижалась, выявив скрытую проблему: небольшие недочеты в слое поиска могут существенно повлиять на результативность.

Выявление дрейфа поиска в RAG-пайплайнах

В ходе тщательной оценки Acalvio обнаружила несколько скрытых проблем, влияющих на качество поиска:

• Несоответствие эмбеддингов: Обертка для обученной на инструкциях модели использовалась с моделью, не обученной на инструкциях, что приводило к несогласованности в векторных представлениях.
• Несовпадение метрик схожести: Незаметное изменение метода вычисления схожести (например, косинусная мера против скалярного произведения) повлияло на точность поиска.
• Отсутствие фильтров: Слишком широкие запросы возвращали нерелевантные результаты, создавая «шум» в ответах.

По отдельности эти факторы не приводили к провалу, но в совокупности они снижали надежность ассистента при решении задач кибербезопасности.

Устранение слабых мест: улучшения слоя поиска

После выявления причин Acalvio внедрила точечные улучшения:

• Скорректировала эмбеддинговые модели и обертки для согласованности.
• Настроила метрики схожести с правильной нормализацией векторов.
• Применяла контролируемое индексирование (FLAT) для проверки качества поиска.
• Ввела механизм повторной сортировки результатов на основе семантической релевантности.
• Добавила расширение запросов, разбивая сложные вопросы на более простые и точные подзапросы.

Эти изменения не только восстановили, но и повысили базовые метрики точности:

Recall: 0.9036

MRR: 0.8730

NDCG: 0.8864

Результат? Более умный ИИ-ассистент, предоставляющий точные и практичные ответы в кибербезопасности.

Почему метрики поиска важны для кибербезопасности

Метрики, такие как Recall, MRR и NDCG, — это не просто теория, а реальные индикаторы качества RAG. В кибербезопасности даже небольшие ошибки поиска могут привести к:

• галлюцинациям или нерелевантным ответам,
• пропуску индикаторов атак,
• искаженному контексту при реагировании на инциденты.

Отслеживая эти метрики, команды безопасности могут гарантировать, что их ИИ-ассистенты остаются надежными, точными и эффективными.

Acalvio + Softprom: надежный ИИ для киберзащиты

RAG-системы обладают огромным потенциалом, но они уязвимы без правильного дизайна и мониторинга. В кибербезопасности, где критична точность, подход Acalvio — совершенствование пайплайнов поиска, использование стратегий обмана и проактивного мониторинга — обеспечивает надежность ИИ-ассистентов на масштабе.

Softprom, как официальный дистрибьютор Acalvio, помогает предприятиям и государственным организациям внедрять эти инновационные решения на основе ИИ и технологий обмана для укрепления своей киберзащиты.

Свяжитесь с нами, чтобы узнать, как инновации Acalvio могут усилить вашу стратегию киберзащиты.