Хакеры злоупотребляют ChatGPT для написания вредоносного ПО: отчет OpenAI

OpenAI, компания, стоящая за популярным AI-чат-ботом ChatGPT, раскрыла, что с начала 2024 года она сорвала более 20 операций и обманных сетей по всему миру, включая сети, связанные с государственными хакерами Ирана и Китая.

В отчете, опубликованном в среду, компания генеративного ИИ (GenAI) заявила, что эти операции включали использование чат-бота на базе ИИ, ChatGPT, для отладки вредоносного ПО, написания статей для веб-сайтов, генерации контента, размещаемого поддельными персонажами в социальных сетях, и распространения дезинформации, связанной с выборами.

Согласно исследователям Бену Ниммо и Майклу Флоссману, написавшим отчет, злоумышленники использовали ИИ на промежуточных этапах своих кампаний.

“Злоумышленники чаще всего использовали наши модели для выполнения задач на конкретном, промежуточном этапе активности — после того, как они приобрели базовые инструменты, такие как доступ в интернет, адреса электронной почты и аккаунты в социальных сетях, но до того, как они развернули “готовые” продукты, такие как публикации в социальных сетях или вредоносное ПО в интернете,” — написали исследователи в отчете.

Однако они подчеркнули, что, несмотря на участие ИИ в кибератаках и кампаниях влияния, его фактическое воздействие на данный момент было ограниченным.

Они не нашли доказательств того, что ИИ способствовал созданию нового, продвинутого вредоносного ПО или значительно улучшил усилия по дезинформации.

Отчет OpenAI выделяет три ключевые группы угроз, которые использовали ChatGPT для содействия кибератакам:

SweetSpectre: Группа, связанная с Китаем, SweetSpectre, использовала ChatGPT для разведки, исследования уязвимостей, поддержки скриптов, уклонения от обнаружения аномалий и разработки.

Также было установлено, что целевые фишинговые письма с вредоносными вложениями были отправлены на корпоративные и личные электронные почты некоторых сотрудников OpenAI, но они были заблокированы до того, как достигли целевых почтовых ящиков.

CyberAv3ngers: Эта группа, связанная с Корпусом стражей исламской революции (КСИР) Ирана, известна своими разрушительными атаками на промышленные системы управления (ICS) и программируемые логические контроллеры (PLC), используемые в водных системах, производстве и энергетических системах.

Группа использовала модель ChatGPT для исследования уязвимостей, отладки кода и запроса советов по скриптам для нацеливания на инфраструктуру, обычно связанную с Израилем, Соединенными Штатами или Ирландией.

STORM-0817: Еще один иранский злоумышленник, STORM-0817, который, по мнению OpenAI, является первым случаем, когда хакер был публично идентифицирован с использованием моделей ИИ.

Эта группа пыталась использовать ChatGPT для отладки вредоносного ПО, создания инструментов, таких как скрейпер Instagram, перевода профилей LinkedIn на персидский язык и для отладки и поддержки кодирования при реализации вредоносного ПО для Android, а также для поддержки инфраструктуры командного и управляющего центра.

Кроме того, фрагменты кода, созданные по запросам злоумышленников с помощью чат-бота OpenAI, указывали на то, что вредоносное ПО могло красть контакты, журналы вызовов, установленные пакеты, медиану на внешнем хранилище, скриншоты, IMEI устройства и модель, историю браузера, широту/долготу, файлы с внешнего хранилища (pdf, excel документы) и контент, загруженный на внешнее хранилище, включая файлы, отправленные через защищенные мессенджеры, такие как WhatsApp и IMO.

“Параллельно STORM-0817 использовал ChatGPT для поддержки разработки серверного кода, необходимого для обработки соединений от скомпрометированных устройств,” — говорится в отчете OpenAI.

“Это позволило нам увидеть, что сервер командного и управляющего центра для этого вредоносного ПО является настройкой WAMP (Windows, Apache, MySQL & PHP/Perl/Python) и во время тестирования использовал домен stickhero[.]pro.”

Хотя эти группы пытались злоупотребить ChatGPT, OpenAI подчеркнула, что ИИ не предоставил им значительных новых возможностей для разработки вредоносного ПО. Хакеры смогли получить лишь незначительные преимущества, которые уже были достижимы с помощью общедоступных, не основанных на ИИ инструментов.

Хотя участие ИИ в кибератаках вызывает беспокойство, OpenAI внедрила меры для выявления и разрушения этих злонамеренных действий.

“Смотря в будущее, мы будем продолжать работать в рамках наших команд по разведке, расследованиям, исследованию безопасности и политике, чтобы предвидеть, как злонамеренные актеры могут использовать продвинутые модели для опасных целей и планировать соответствующие меры по обеспечению правопорядка. Мы будем продолжать делиться нашими находками с нашими внутренними командами безопасности, сообщать уроки ключевым заинтересованным сторонам и сотрудничать с нашими коллегами по отрасли и более широким научным сообществом, чтобы опережать риски и укреплять нашу коллективную безопасность,” — заключила компания.