Почему технологии обмана важны в эпоху ИИ-агентов

По мере того как искусственный интеллект переходит от экспериментов к промышленной эксплуатации, командам безопасности необходимо уделять больше внимания тому, что ИИ-системы делают во время выполнения (runtime) — а не только тому, как они тестируются перед развертыванием.

В течение последних нескольких лет большая часть дискуссий о безопасности ИИ была сосредоточена на мерах защиты до развертывания: оценке моделей, ред-тиминге и "гардрайлах" (ограничителях), призванных предотвратить небезопасное поведение. Все это остается жизненно важным. Однако, как только ИИ-агент начинает работать внутри корпоративной среды с реальными учетными данными, инструментами и разрешениями, возникает другой вызов: как организации могут выявлять то, что агент реально делает во время работы?

Именно поэтому технологии обмана (deception technology) снова привлекают к себе повышенное внимание.

Инцидент с Hugging Face наглядно проиллюстрировал эту проблему. В июле компания Hugging Face сообщила о компрометации своей производственной инфраструктуры с участием автономной системы ИИ-агентов. Впоследствии компания OpenAI заявила, что ее агенты проводили оценки кибербезопасности передовых моделей. На конференции Black Hat в августе представители OpenAI обсудили этот инцидент и сложности управления рисками, связанными с агентами.

Среди обсуждавшихся защитных подходов были honeytokens и технологии обмана. Лежащий в их основе принцип прост: если ИИ-агент не может легко отличить легитимные учетные данные от фейковых, созданных для вызова тревоги, его действия становятся более прозрачными для наблюдения — и неопределенность начинает работать в пользу защитников.

Для корпоративных команд безопасности это поднимает важный вопрос: можно ли надежно развернуть технологии обмана в крупной, постоянно меняющейся среде?

Почему ИИ-агенты меняют уравнение безопасности

ИИ-агенты могут выполнять задачи, исследовать системы, находить учетные данные и взаимодействовать с ресурсами с минимальным участием человека. Когда агент сталкивается с учетными данными или возможным маршрутом к своей цели, он может попытаться использовать их в рамках выполнения задачи. В мультиагентных средах обнаруженная информация также может передаваться между агентами, что потенциально увеличивает масштаб последствий одной утечки.

Такое поведение создает возможности для защитников.

Правильно развернутые ложные учетные данные, учетные записи (identity) или ресурсы не должны вызываться легитимными пользователями или одобренными рабочими процессами. Поэтому любое взаимодействие с ними дает высокоточный сигнал о подозрительной активности. В отличие от традиционных подходов к обнаружению, которые полагаются на выявление известных шаблонов атак, децепция генерирует сигнал в момент, когда атакующий или агент прикасается к тому, что должно оставаться нетронутым.

Это различие критически важно, когда точное поведение угрозы на базе ИИ трудно предсказать. Агенты могут комбинировать инструменты, учетные данные и техники способами, которые не совпадают с установленными правилами обнаружения. Децепция добавляет контекстный сигнал среды, который не зависит исключительно от распознавания заранее определенной техники атаки.

Проблема не ограничивается внешними атакующими. ИИ-агенты, развернутые самой организацией, также могут вести себя неожиданным образом в процессе достижения поставленных целей. Агент может иметь легитимный доступ к системам, но при этом выбрать небезопасный или несанкционированный путь для выполнения задачи.

Ограничители на уровне модели и политики доступа остаются важными, но они не могут гарантировать, что каждое возможное поведение будет предугадано заранее. Мониторинг во время выполнения (runtime) и обнаружение на уровне среды обеспечивают дополнительную видимость того, что происходит после того, как агент начинает работу.

Почему важна масштабируемая децепция

Децепция давно предлагает способ обнаружения противников с помощью приманок, honeytokens и ложной инфраструктуры. Однако традиционные развертывания бывает трудно поддерживать в масштабах предприятия.

Создание и управление приманками вручную в меняющейся среде требует времени. Активы, учетные записи, приложения и облачные ресурсы непрерывно меняются, и ложные элементы должны оставаться актуальными, не создавая при этом избыточных операционных расходов.

Практичная платформа децепции должна обеспечивать последовательное развертывание и управление этими элементами, сохраняя реалистичность среды и полезность сигналов обнаружения.

Acalvio решает эту задачу с помощью своей платформы ShadowPlex Preemptive Cybersecurity и подхода 360 Deception. Вместо того чтобы создавать и обслуживать каждый ложный ресурс отдельно, платформа может проецировать приманки из централизованной инфраструктуры обмана и разворачивать легкие ложные элементы — включая honeytokens, "хлебные крошки" (breadcrumbs) и ложные учетные записи — в IT, OT, identity и облачных средах.

Этот подход призван помочь организациям расширить покрытие децепцией, одновременно снижая бремя ручного развертывания и постоянного обслуживания.

Почему Acalvio

Acalvio фокусируется на том, чтобы сделать децепцию практичной для корпоративных сред, где критически важны масштаб, покрытие и операционная эффективность.

Ее подход сочетает несколько техник обмана, помогая командам безопасности создавать больше возможностей для обнаружения подозрительных взаимодействий. Распределяя ложные элементы по различным средам, организации получают видимость активности, затрагивающей учетные данные, записи и ресурсы, к которым у легитимных пользователей и процессов не должно быть доступа.

Платформа Acalvio актуальна для нескольких приоритетов безопасности:

• Обнаружение во время выполнения (Runtime detection): выявление подозрительных взаимодействий с ложными ресурсами во время работы систем.
• Защита учетных данных и Identity: использование ложных учетных записей и данных для выявления потенциального злоупотребления.
• Кросс-средовое покрытие: распространение децепции на IT, OT, конечные точки, инфраструктуру Identity и облачные среды.
• Операционная масштабируемость: использование централизованной инфраструктуры и автоматизации для сокращения усилий по развертыванию и обслуживанию приманок.
• Высокоточные сигналы: генерация оповещений на основе взаимодействий с тщательно размещенными приманками, что помогает командам расследовать действительно важную активность.

Технология обмана Acalvio также получила внешнее признание в конкурсе ВМС США по киберустойчивости, организованном NIWC Pacific. Согласно заявлению ВМС, Acalvio заняла первое место в испытании, сценарий которого был построен на допущении, что среда уже может быть скомпрометирована. Такое признание дает полезный контекст, хотя организациям все же следует оценивать любую платформу с учетом собственных технических требований и сценариев безопасности.

Децепция как часть многоуровневой стратегии безопасности ИИ

Децепция не заменяет тестирование моделей, мониторинг во время выполнения, управление идентификацией и доступом или реагирование на инциденты. Она дополняет эти средства контроля, вводя иной тип сигнала обнаружения.

Многоуровневая стратегия может сочетать:

• Тестирование до развертывания для оценки моделей и выявления уязвимостей до релиза.
• Ограничители (guardrails) и контроль доступа для ограничения того, что агентам разрешено делать.
• Мониторинг во время выполнения (runtime) для наблюдения за поведением агента и выявления нарушений политик.
• Технологии обмана (deception) для выявления взаимодействий с учетными данными, записями и ресурсами, к которым нельзя прикасаться.
• Реагирование на инциденты и локализация для расследования алертов и ограничения возможного ущерба.

Вместе эти средства контроля помогают организациям противостоять как ожидаемым угрозам, так и неожиданному поведению, возникающему после того, как ИИ-агент выходит в продакшен.

По мере того как предприятия внедряют все более автономные системы, способность наблюдать и реагировать на активность во время выполнения становится все более важной. Команды безопасности не могут предугадать каждое действие, которое может предпринять агент — но они могут спроектировать среду так, чтобы подозрительную активность было легче обнаружить.

Заставьте среду работать на защитника

ИИ-агенты могут действовать быстро, исследовать доступные ресурсы и использовать найденную информацию для достижения своих целей. Защитникам нужны способы превратить эти взаимодействия в практические сигналы безопасности.

Технологии децепции предоставляют именно такой механизм. Размещая реалистичные, но контролируемые приманки там, где с ними может столкнуться несанкционированная активность, организации могут сделать подозрительное поведение более видимым, не полагаясь исключительно на известные сигнатуры атак.

Для предприятий, стремящихся укрепить обнаружение в реальном времени в сложных средах, Acalvio предлагает подход на основе децепции, разработанный для масштабируемого развертывания в IT, OT, identity и облачной инфраструктуре.

Softprom является официальным дистрибьютором Acalvio. Свяжитесь с Softprom, чтобы обсудить, как технологии обмана Acalvio могут дополнить стратегию кибербезопасности вашей организации и улучшить видимость подозрительной активности.