팔로우 얼마 전만 해도 피싱 이메일을 포착하는 것은 거의 게임과 같았습니다. 이상한 문장 구조, 일치하지 않는 로고, 맞지 않는 발신자 주소 — 충분히 자세히 살펴보면 보통 그러한 단서들이 존재하였습니다. 하지만 지금은 상황이 빠르게 변하고 있습니다. 오늘날의 캠페인을 지원하는 도구들은 동시에 극적으로 더 좋아졌고 저렴해졌습니다. AI 사이버 공격은 인공지능이 일부 과중한 작업을 수행하는 공격을 말합니다: 피싱 카피 작성, 목소리 복제, 실행될 때마다 다른 모습으로 보이도록 악성코드를 다시 작성하거나, 착취할 가치가 있는 잘못 구성된 서버를 찾기 위해 네트워크를 스캔하는 등.
AI가 반드시 혼자서 공격을 완전히 실행하는 것은 아닙니다만, 에이전트 구조가 매 분기마다 그 방향으로 점점 더 가까워지고 있습니다. 주로 그것이 하는 일은 공격자를 느리게 만들었던 마찰을 제거하는 것입니다 — 설득력 있는 카피를 작성하는 데 소요되는 시간, 바이러스 백신 서명을 회피하는 수작업 노력, 설정 전화를 걸기 전에 대상을 조사하는 힘든 작업.
이러한 변화가 수비수들에게 중요해지는 것은 공격이 어떤 추상적이고, 공상 과학적인 감각으로 더 똑똑해졌기 때문이 아닙니다. 그것들은 생산 비용이 더 저렴해졌고, 지문을 잡아내기 더 어렵고, 이전에는 불가능했던 더 많은 공격자 풀에게 제공됩니다 — 몇 년 전만 해도 이정도로 설득력 있게 실행할 기술이나 인내심이 없었을 겁니다. 진입 장벽이 계속 낮아지고 있기 때문에 탐지 및 방어 접근법도 이에 맞춰 지속적으로 발전해야 합니다.
AI 기반 사이버 공격의 다양한 얼굴
AI 기반 사이버 공격은 단일 기법이 아니라 공격 수명 주기의 거의 모든 단계에 부착된 도구 세트입니다. 아래는 현재 보안 팀이 다루고 있는 가장 명확한 AI 기반 사이버 공격 사례들이며, 각각은 AI 사이버 공격이 설계되지 않은 방어를 어떻게 우회할 수 있는지를 보여줍니다.
AI 생성 피싱 및 사회 공학. 이것은 단연코 가장 흔한 진입점입니다. 수천 개의 메일박스에 발송된 템플릿 이메일 대신, 공격자들은 LinkedIn 데이터, 유출 덤프, 공개 제출물을 스크랩한 언어 모델을 공급합니다. 그 결과 실제 목표의 직업, 상사의 이름, 회사의 내부 용어를 실제로 아는 사람이 작성한 것처럼 보이는 메시지가 나타납니다. 오타도 없고 어색한 문장 구조도 없습니다 — 실제와 확실히 구분하기 어려운 메시지로, 캠페인 내의 어떤 메시도 똑같아 보일 필요가 없으므로, 대량 매칭 필터가 예전처럼 효과적이지 않는 이유가 정확히 여기 있습니다.
딥페이크 음성 및 비디오 변장. 음성 복제 도구는 이제 몇 초의 오디오만 필요합니다 — 실적 발표, 웨비나 녹화, YouTube 인터뷰 등에서 가져와 설득력 있는 가짜를 만듭니다. 이와 비디오 합성을 결합하면, 완전히 조작된 임원들이 비디오 회의에 참석하여 송금 이체를 승인하거나 긴급 요청을 승인하는 상황을 얻게 됩니다. 비디오에서 완전히 조작된 리더십 팀과 “회견” 후 금융 직원이 수백만 달러를 이체한 사건이 이미 뉴스에 보도되었으며, 이들 뒤에 있는 기술은 점점 더 접근 가능해지고 있습니다.
다형성, AI가 작성한 악성코드. 전통적인 악성코드 탐지는 알려진 서명에 크게 의존합니다. AI 생성 악성코드는 실행 시간에 자신의 코드를 다시 작성하여 이를 회피하므로, 감염된 각 기계는 약간 다른 이진 파일을 갖게 됩니다. 일부 변종들은 실행 중간에 AI 모델을 호출하여 계속해서 변형하며, 이는 정적 서명 매칭만으로는 덜 신뢰 가능하게 만들고 방어자가 모습 대신 행동에 의존하도록 강요합니다.
AI 가속 정찰. 공격자가 한 통의 이메일을 보내기 전, AI는 소셜 미디어, 기업 제출물, 조직도, 과거 유출 데이터를 통해 회사와 직원의 자세한 프로필을 구축할 수 있습니다 — 수작업 연구에 며칠이 걸리던 작업이 이제 몇 분으로 압축됩니다. 이러한 속도는 공격자가 대상 회사의 모든 직원을 연구할 수 있도록 하며, 이는 단순한, 높은 가치의 목표들만 대상으로 할 필요가 없습니다.
AI 지원 비즈니스 이메일 침해. 계정이 손상된 후, AI는 금융 또는 HR 직원과 다단계의, 설득력 있는 대화를 진행할 수 있으며, 대상이 실시간으로 응답하는 방식에 따라 톤과 긴급성을 조정합니다. 악성코드나 악의적인 링크가 개입되는 경우가 드물며, 공격은 대화 자체로, 보안 팀은 사후에 실제로 검사할 것이 거의 남지 않습니다.
기업 AI에 대한 프롬프트 주입. 기업들이 AI 보좌관과 에이전트를 출시하면서, 문서, 이메일 또는 캘린더 초대장에 악의적인 명령을 숨기는 새로운 카테고리가 생겨났습니다. 이후 AI 보좌관이 이를 처리하게 되어, 아무도 의도적으로 클릭하지 않아도 공격자 제어 명령을 실행하거나 데이터를 누출하도록 속이는 것입니다.
이러한 카테고리는 실제 사건에서 계속해서 겹칩니다 — 하나의 캠페인은 AI 기반 정찰로 시작하고, 개인화된 피싱 이메일로 이동하며, 풀업을 마무리하기 위해 딥페이크 음성 통화를 마무리할 수 있습니다. 한 가지 기법에만 의존해 공격을 수행하는 경우는 드물어졌습니다.
AI 기반 사이버 공격의 메커니즘
기계적 수준에서 대부분의 AI 기반 사이버 공격은 항상 공격이 하던 형태와 같은 모습을 따릅니다 — 정찰, 초기 접근, 확대, 실행 — 그러나 AI는 거의 모든 단계에 삽입되어 속도를 높이고 각 단계를 더욱 설득력 있게 만듭니다. 생성 모델은 피싱 카피 또는 가짜 문서를 작성합니다. 음성 및 비디오 합성 모델은, 종종 단 몇 개의 공개 샘플로 학습하여 변장을 처리합니다. 더 고급 설정에서는, 에이전트 AI 시스템이 최소한의 인간 입력으로 이러한 단계를 연계하여 네트워크를 탐색하고 방어기술을 피할 때 적응하며 대부분 독립적으로 다음 단계로 이동합니다.
결과는 고정된 스크립트보다는 실시간으로 반응하고 조정하는 행동을 하는 공격이며, 이는 무엇이 작용하였는지, 무엇이 차단되었는지를 학습합니다. 바로 이것이 정적이고 규칙 기반의 방어로 두 번 똑같이 보이는 공격을 기대하는 방어기가 잡아내기가 그렇게 어려워진 이유입니다.
AI 기반 사이버 공격을 탐지하는 방법
서명 기반 도구는 반복적인 패턴을 잡도록 제작되었습니다 — 그리고 AI 생성 공격은 반복되지 않도록 특별히 구축되어 있습니다. 따라서 탐지는 단순한 패턴 매칭을 넘어서 진화해야 했습니다. 행동 분석이 이제 대부분의 업무를 수행하고 있습니다: “이 이메일이 알려진 나쁜 패턴과 일치하는가”를 묻는 대신, 시스템은 “이 발신자의 행동이 그들이 평소에 소통하는 방식과 일치하는가”를 묻습니다. 로그인 시간의 이상 징후, “신뢰된” 연락처로부터의 비정상적인 요청, 또는 표현이 자연스럽게 추적되지 않는 비디오 통화 참가자들은 모두 내용 기반 필터들이 종종 지나치기 쉬운 신호입니다. 악성코드 실행 중 동작 패턴을 관찰하고, 정적 파일 해시 대신, 이메일, ID, SaaS 활동 전반에 걸쳐 신호를 상관시키는 것이 정적 규정만으로는 잡을 수 없는 것을 잡는 데 효과적입니다. AI 생성 콘텐츠의 특정 지문에 맞춰 탐지 논리를 조정함으로써 이를 더욱 강화합니다.
AI 기반 사이버 공격을 완화하는 방법
공격이 발판을 마련한 후에는, 목표는 피해를 제한하고 확산 또는 반복할 수 있는 능력을 차단하는 것입니다. 특히 BEC 스타일과 같은 AI 기반 캠페인이 일단 신뢰를 조금이라도 얻으면 대화나 네트워크를 통해 빠르게 이동할 수 있기 때문에, 손상된 계정과 엔드포인트를 신속하게 격리하는 것이 그 어느 때보다 중요합니다.
인증 자격을 교체하고, 활성 세션을 취소하며, 최근 인증 로그에서 이상 징후를 검토하는 것은 사후 사건 보고서에서 생각해내는 후회거리가 아닌 즉시 실행되어야 합니다. 또한, 긴급 음성 통화가 있어도 다른 채널을 통한 독립적인 이중 확인 없이는 어떤 행동도 완료할 수 없도록 민감한 모든 프로세스에 아웃 오브 밴드 확인이 내장되어 있으면 크게 도움이 됩니다. 일이 마무리된 후에 탐지 규칙과 위협 정보를 갱신하는 것은 실제로 순환을 완성하는 것입니다. 공격자들은 성공한 것을 기반으로 업데이트하는 경향이 있으며, 방어도 공격에서 성공한 것에 맞춰 진화할 필요가 있기 때문입니다.
AI 기반 사이버 공격을 예방하는 방법
여기서 예방은 단일 도구 구매가 아니라 AI 사이버 공격을 처음부터 시행하기 상당히 어렵게 만드는 몇 가지 겹겹의 습관으로 구성됩니다.
신원부터 시작하세요: FIDO2 키나 패스키와 같은 피싱 저항 MFA는 sms 코드를 대신 사용하여 자격 증명 도난 시도의 많은 부분을 차단합니다, 왜냐하면 결점 없는 AI 생성 피싱 페이지도 하드웨어 키를 가로챌 수는 없기 때문입니다. 엄격한 DMARC 시행 및 불필요한 이메일 릴레이 기능을 잠그면 수신자의 받은 편지함에 스푸핑된 메시지가 설득력 있게 도착할 가능성이 줄어듭니다. 직원 교육도 여전히 매우 중요하지만, 이를 정직하게 업데이트해야 합니다 — 사람들은 현대의 AI 피싱과 딥페이크 시도가 오늘날 실제로 무엇인지 봐야 하며, 5년 전의 서투른, 오타가 많은 예시이 아닌 현실적인 시뮬레이션을 정규적으로 실행하는 것이 1년에 한 번 슬라이드쇼보다 훨씬 더 유익합니다. 관리 측면에서, 자체 AI 보좌관과 에이전트를 출시하는 조직은 해당 시스템이 접근하고 행동할 수 있는 것에 대한 명확한 정책이 필요합니다, 왜냐하면 잘못 관리된 내부 AI 도구 자체가 바로 앞서 설명한 프롬프트 주입 기술과 똑같은 방식으로 악용될 새로운 공격 표면이기 때문입니다.
AI가 AI 기반 사이버 공격 방어를 도울 수 있는가?
예 — 그리고 이 시점에서는 선택이 아닌 필수에 가까워지고 있습니다. 수동, 인간 중심의 탐지로 AI 규모의 공격과 싸우려는 것은 유지하기 점점 더 어려워지고 있습니다. 공격자 측의 양과 속도가 너무 높아 사람들만으로는 따라잡기 어렵습니다.
방어 AI는 몇 가지 구체적이고 실용적인 방법으로 나타납니다: 특정 사용자나 시스템에 대해 “정상”이 무엇인지 학습하고 인간 분석가가 혼자 작업할 때보다 훨씬 빠르게 편차를 감지하는 행동 모델, 단일 도구가 따로 잡아내지 못했을 다단계 공격을 잡아내는 이메일, ID, 네트워크 원격 측정 간의 자동 상관관계, 그리고 보안 팀이 수동 작업으로는 불가능한 속도로 탐지 논리를 작성하고 개선하도록 돕는 AI 지원 탐지 엔지니어링 등입니다. 탐지 엔지니어링을 중심으로 구축된 플랫폼은 점점 이러한 것에 의존하고 있습니다 — AI를 사용하여 원시 위협 정보를 디플로이 가능한 작업 탐지 규칙으로 번역하는 데 도움을 주며, 이는 새로운 공격 기법이 야생에서 나타나고 그것을 실제로 탐지하는 규칙 사이의 격차를 단축합니다.
최종적으로 위험이 큰 결정에 대한 최종 판단은 여전히 인류의 몫입니다 — 의심스러운 송금 이체, 비정상적인 접근 요청이나 약간 이상하게 느껴지는 통화 등. 하지만 방어 측의 AI는 보안 팀들이 속도를 맞추게 해주는 것이며, AI 기반 탐지로 지원된 인간 판단의 조합이 이러한 공격들이 계속해서 진화함에 따라 방어자들이 앞서 나갈 수 있도록 해줍니다.
