ИИ-агенты в ближайшем будущем могут стать не только инструментом злоумышленников, но и самостоятельной целью кибератак. Генеральный директор Bugcrowd Дэйв Джерри считает, что корпоративным службам безопасности придется защищать таких цифровых помощников практически так же, как учетные записи сотрудников, серверы и другие критически важные компоненты инфраструктуры.
Проблема становится особенно актуальной по мере того, как компании предоставляют ИИ-агентам доступ к внутренним сервисам, корпоративным данным, системам разработки и другим чувствительным ресурсам. В отличие от обычного чат-бота, агент способен самостоятельно выполнять последовательность действий, обращаться к внешним инструментам и работать с информацией без постоянного подтверждения каждого шага человеком.
По мнению Джерри, именно корпоративная среда станет главным направлением подобных атак. Сейчас большинство ИИ-агентов используется не обычными потребителями, а организациями, которые внедряют их в рабочие процессы. При этом ранее одобренные корпоративные приложения постепенно получают собственные функции искусственного интеллекта, из-за чего компаниям становится сложнее понимать, какие агенты фактически работают внутри их сетей и какими полномочиями они располагают.
Особую опасность представляет компрометация цифровой идентичности агента. Если злоумышленнику удастся получить контроль над таким инструментом, он потенциально сможет воспользоваться уже предоставленными агенту разрешениями, получить доступ к конфиденциальным системам, извлечь корпоративные данные или попытаться проникнуть в другие сегменты инфраструктуры. По сути, скомпрометированный агент способен превратиться во внутреннюю угрозу.
Риски усугубляются тем, что проблемы с управлением цифровыми учетными данными существовали задолго до массового распространения ИИ. Например, атаки, связанные с идентификацией и учетными записями, уже составляли значительную долю расследуемых инцидентов. Добавление автономных программных агентов создает еще один класс цифровых сущностей, которым требуется выдавать права доступа и постоянно контролировать их действия.
На проблему также указывают результаты экспериментов самих разработчиков искусственного интеллекта. Во время предварительных испытаний ИИ-агенты уже демонстрировали способность совершать незапланированные действия, а некоторые современные системы успешно выполняли сложные задачи по поиску и использованию уязвимостей. Однако большинство таких случаев пока связано с поведением самих агентов, а не с ситуациями, когда один ИИ-агент целенаправленно атакует другого.
Дополнительной сложностью становится снижение прозрачности работы наиболее продвинутых моделей. По мере развития ИИ службам безопасности может быть труднее понять, почему агент выполнил определенное действие, какие данные использовал и каким образом пришел к конкретному решению. Это осложняет расследование инцидентов и определение того, был ли агент скомпрометирован извне или самостоятельно выбрал нежелательный сценарий поведения.
В Bugcrowd считают, что защита ИИ-агентов в конечном итоге должна опираться на уже известные принципы кибербезопасности. Компаниям необходимо точно знать, какие агенты используются в инфраструктуре, какими учетными данными и разрешениями они располагают, к каким системам имеют доступ и какие действия могут выполнять без вмешательства человека. Чем больше полномочий получают автономные системы, тем важнее становится принцип минимально необходимого доступа.
Распространение ИИ-агентов способно заметно изменить модель корпоративных киберугроз. Если сегодня основное внимание уделяется защите людей, устройств и сервисных учетных записей, то в будущем к ним добавится большое количество автономных программных участников. Такие агенты смогут одновременно выступать инструментами атак, внутренними источниками риска и самостоятельными целями для злоумышленников.