해커들이 ChatGPT를 악용하여 악성코드를 작성하다: OpenAI 보고서

OpenAI, 인기 AI 챗봇 ChatGPT의 개발사,는 2024년 초부터 이란 및 중국 국가 지원 해커와 관련된 네트워크를 포함하여 전 세계에서 20건 이상의 작전과 기만 네트워크를 중단했다고 밝혔습니다.

수요일에 발표된 보고서에서 생성적 AI(GenAI) 회사는 이러한 작전이 AI 기반 챗봇인 ChatGPT를 사용하여 악성코드를 디버깅하고, 웹사이트용 기사를 작성하며, 소셜 미디어 계정의 가짜 인물에 의해 게시된 콘텐츠를 생성하고, 선거 관련 허위 정보를 퍼뜨리는 것과 관련이 있다고 말했습니다.

보고서를 작성한 연구원 벤 님모(Ben Nimmo)와 마이클 플로스만(Michael Flossman)에 따르면, 위협 행위자들은 캠페인의 중간 단계에서 AI를 활용했습니다.

“위협 행위자들은 기본 도구인 인터넷 접근, 이메일 주소 및 소셜 미디어 계정을 확보한 후, 소셜 미디어 게시물이나 악성코드와 같은 ‘완성된‘ 제품을 배포하기 전에 특정 중간 활동 단계에서 작업을 수행하기 위해 우리의 모델을 가장 많이 사용했습니다.”라고 연구원들은 보고서에서 썼습니다.

그러나 그들은 사이버 공격 및 영향 캠페인에서 AI의 참여에도 불구하고 실제 영향은 지금까지 제한적이었다고 강조했습니다.

그들은 AI가 새로운 고급 악성코드의 생성에 기여하거나 허위 정보 노력을 크게 개선했다는 증거를 찾지 못했습니다.

OpenAI 보고서는 ChatGPT를 악용하여 사이버 공격을 촉진한 세 가지 주요 위협 그룹을 강조합니다:

SweetSpectre: 중국과 연결된 그룹인 SweetSpectre는 ChatGPT를 사용하여 정찰, 취약점 연구, 스크립팅 지원, 이상 탐지 회피 및 개발을 수행했습니다.

악성 첨부파일이 포함된 스피어 피싱 이메일이 일부 OpenAI 직원의 기업 및 개인 이메일 계정으로 전송되었지만, 목표 받은 편지함에 도달하기 전에 차단되었습니다.

CyberAv3ngers: 이란의 이슬람 혁명 수비대(IRGC)와 연결된 이 그룹은 물 시스템, 제조 및 에너지 시스템에서 사용되는 산업 제어 시스템(ICS) 및 프로그래머블 로직 컨트롤러(PLC)에 대한 파괴적인 공격으로 알려져 있습니다.

이 그룹은 ChatGPT 모델을 사용하여 취약점을 연구하고, 코드를 디버깅하며, 이스라엘, 미국 또는 아일랜드와 일반적으로 관련된 인프라를 목표로 하는 스크립팅 조언을 요청했습니다.

STORM-0817: OpenAI가 AI 모델을 사용하여 공개적으로 확인된 해커라고 믿는 또 다른 이란 기반 위협 행위자 STORM-0817입니다.

이 그룹은 ChatGPT를 사용하여 악성코드를 디버깅하고, 인스타그램 스크레이퍼와 같은 도구를 만들고, 링크드인 프로필을 페르시아어로 번역하며, 안드로이드 악성코드 구현 시 디버깅 및 코딩 지원을 제공하고, 지원 명령 및 제어 인프라를 구축하려고 시도했습니다.

또한, OpenAI의 챗봇의 도움으로 공격자가 제공한 프롬프트에서 생성된 코드 조각은 악성코드가 연락처, 통화 기록, 설치된 패키지, 외부 저장소의 미디안, 스크린샷, 장치 IMEI 및 모델, 브라우징 기록, 위도/경도, 외부 저장소에서의 파일(pdf, excel 문서) 및 WhatsApp 및 IMO와 같은 보안 메시징 앱으로 전송된 파일을 포함하여 외부 저장소에 다운로드된 콘텐츠를 훔칠 수 있음을 나타냈습니다.

“병행하여 STORM-0817은 손상된 장치에서의 연결을 처리하는 데 필요한 서버 측 코드를 개발하기 위해 ChatGPT를 사용했습니다.”라고 OpenAI 보고서는 읽습니다.

“이로 인해 이 악성코드의 명령 및 제어 서버가 WAMP(Windows, Apache, MySQL & PHP/Perl/Python) 설정이며 테스트 중에 stickhero[.]pro 도메인을 사용하고 있음을 확인할 수 있었습니다.”

이 그룹들이 ChatGPT를 악용하려고 시도했지만, OpenAI는 AI가 악성코드를 개발하는 데 그들에게 상당한 새로운 능력을 제공하지 않았다고 강조했습니다. 해커들은 이미 공개적으로 사용 가능한 비 AI 기반 도구를 통해 달성할 수 있는 점진적인 이점만을 얻을 수 있었습니다.

AI의 사이버 공격 참여는 우려스럽지만, OpenAI는 이러한 악의적인 활동을 식별하고 중단하기 위한 조치를 시행했습니다.

“미래를 바라보면서, 우리는 악의적인 행위자가 위험한 목적을 위해 고급 모델을 어떻게 사용할 수 있을지 예측하고 적절하게 집행 단계를 계획하기 위해 우리의 정보, 조사, 보안 연구 및 정책 팀과 계속 협력할 것입니다. 우리는 내부 안전 및 보안 팀과 우리의 발견을 계속 공유하고, 주요 이해관계자에게 교훈을 전달하며, 산업 동료 및 더 넓은 연구 커뮤니티와 협력하여 위험을 앞서고 우리의 집단 안전 및 보안을 강화할 것입니다.”라고 회사는 결론지었습니다.