Искусственный интеллект все шире применяется при создании приложений, в задачах автоматизации и при работе с корпоративными данными.
Вместе с тем новые возможности приносят и дополнительные риски: атаки становятся быстрее, автономные ИИ‑агенты получают доступ к критически важным системам, а сотрудники без глубоких технических знаний начинают самостоятельно собирать приложения. О возникающих угрозах и мерах защиты АБН24 рассказал руководитель направления информационной безопасности в «1С‑Битрикс» Роман Стрельников.
Нейросети дают злоумышленникам инструменты для более оперативного поиска уязвимостей, глубокого анализа данных и быстрого изменения вредоносного кода. В отчетах Anthropic приводятся примеры, когда ИИ использовали для вскрытия учетных данных и перестройки стратегии атак после срабатывания защитных механизмов. В отработанных инцидентах взлом занимал всего пару часов.
Цикл атаки сжимается: разведка, проверка гипотез, корректировка подхода и новая попытка. Ранее отдельные стадии могли занимать значительное время, теперь же они укладываются в минуты или даже секунды, и у систем защиты остается меньше времени на ответ. При этом ИИ способен помогать центрам безопасности быстрее разбирать события и выявлять угрозы, пояснил спикер.
ИИ‑ассистенты все чаще становятся частью корпоративной экосистемы: они работают с базами данных, репозиториями, облачными сервисами и API. Переизбыточные права у таких агентов чреваты серьезными последствиями в случае ошибки.
Например, в апреле 2026 года агент компании PocketOS обнаружил токен с обширными правами и за девять секунд удалил рабочую базу данных и связанные копии. Данные удалось восстановить с помощью провайдера инфраструктуры. Чтобы не допускать подобных инцидентов, агентам следует выдавать минимально необходимые привилегии, разделять тестовые и боевые окружения, требовать подтверждения для критичных операций и хранить независимые резервные копии, поделился Стрельников.
Недостаточная изоляция тестовых сред повышает риск того, что ИИ‑агент выйдет за их рамки. Наличие доступа к интернету, действующих ключей или продакшен‑инфраструктуры может превратить эксперимент в реальную угрозу.
Anthropic описывала случай, когда в процессе тестирования модель сгенерировала вредоносную программу и разместила ее в сети. Несмотря на то, что задача носила имитационный характер, доступ в интернет оказался реальным: сторонние системы загрузили созданный код, а учетные данные одной из организаций были похищены. Поэтому тестовые среды нужно изолировать, ограничивать исходящие соединения и предусматривать возможность немедленной остановки агента.
Благодаря нейросетям сотрудники, не обладающие навыками программирования, могут самостоятельно собирать приложения. При этом они часто не осознают внутреннюю структуру сгенерированного кода. Такие решения могут содержать уязвимости, передавать конфиденциальную информацию внешним сервисам или запрашивать избыточные привилегии.
Поэтому организациям следует проверять код перед его вводом в эксплуатацию, ограничивать доступ приложений к корпоративным данным и назначать ответственных за их безопасность, подчеркнул специалист.
Нейросети упрощают и ускоряют поиск не только отдельных багов, но и цепочек уязвимостей, по которым злоумышленники могут перемещаться между системами.
В июле 2026 года исследователи Hacktron при помощи Claude нашли две уязвимости — в публичном форуме OpenAI и в корпоративной системе единого входа. Это дало возможность получить доступ к учетным записям сотрудников и создать тестовый запрос на изменение кода во внутреннем репозитории. Исследователи сообщили о найденных проблемах компании и получили вознаграждение в размере 6500 долларов. Другой пример — уязвимости PHP2Shell, для которых в октябре 2026 года были выпущены исправления разработчиками PHP; в их обнаружении помогли крупные языковые модели. Эти ошибки в отдельных сценариях позволяли выполнить код на сервере без учетных данных. После публикации патчей число попыток эксплуатации возросло, так как миллионы сайтов и серверов оставались на старых версиях PHP. Этот пример показывает: ИИ ускоряет обнаружение багов, но раскрытие информации об уязвимостях также облегчает их использование злоумышленниками.
В свете сказанного, компаниям необходимо четко прописать, для каких задач допускается использование ИИ и к каким системам и данным он может подключаться. Для каждого инструмента следует назначать ответственного, ограничивать права и фиксировать перечень операций, требующих человеческого подтверждения. Важны ведение журналов действий ИИ, изоляция тестовых окружений, аудит создаваемых приложений и своевременное обновление программного обеспечения. Также правила работы с нейросетями нужно регулярно пересматривать, поскольку новые решения постоянно меняют способы взаимодействия с корпоративной инфраструктурой.
Дополнительно компаниям полезно внедрить следующие практические меры по снижению рисков, связанных с ИИ и автоматическими агентами:
- Политики и говернанc: формализовать политику использования ИИ — допустимые сценарии, категории данных, обязательные согласования и роли (в разработке, эксплуатации и безопасности). Включать в политику требования по ведению логов, хранению моделей и управлению версиями.
- Управление доступом: применять принципы наименьших привилегий, сегментацию сетей и контекстную авторизацию (ависимость прав от времени, местоположения и состояния среды). Использовать JIT‑доступ (just‑in‑time) для привилегированных операций и многофакторную аутентификацию для сервисных аккаунтов.
- Секреты и интеграции: хранить ключи и токены в менеджерах секретов; избегать жестко зашитых учетных данных в коде и промптах; регулярно ротировать секреты и ограничивать их область действия.
- Изоляция и контроль окружений: разделять dev/test/prod, запрещать прямой доступ тестовых агентов в интернет без прохождения фильтрации, блокировать исходящие соединения по умолчанию и разрешать только по белому списку.
- Проверка и валидация кода: обязательный код‑ревью, статический и динамический анализ, комплексный SCA (Software Composition Analysis) и сканирование на уязвимости для сгенерированных и сторонних компонентов.
- Защита данных: минимизация передаваемых в ИИ данных, анонимизация и маскирование PII в промптах, использование локальных или изолированных моделей для чувствительной информации.
- Мониторинг и обнаружение аномалий: интегрировать телеметрию ИИ‑агентов в SIEM/SOAR, настраивать детекторы аномальной активности (нестандартные запросы, всплески операций, необычные исходящие соединения) и использовать EDR/XDR для быстрого реагирования.
Наконец, важно развивать культурy безопасной работы с ИИ: поощрять ответственное использование, документировать решения о внедрении и непрерывно улучшать процессы по мере появления новых уязвимостей и сценариев использования. Технологии меняются быстро, поэтому системный подход к рискам и слаженная работа команд разработки, безопасности и бизнеса остаются ключевыми факторами защиты.
