잊기 쉬운 적들과 건망증 있는 AI: LLM 생성 피싱 메일 탐지 전략

섹션별 상세

01

Sadasivan 등의 연구(ICLR 2024)에 따르면 모델 성능이 향상될수록 인간과 AI 텍스트 분포 사이의 전변동 거리(TVD)가 줄어들어 신뢰할 수 있는 탐지가 근본적으로 불가능해진다.

02

Microsoft 위협 인텔리전스는 2025년 보고서에서 LLM으로 난독화된 SVG 피싱 캠페인을 분석하며 과도하게 설명적인 변수명, 오버엔지니어링된 코드 구조, 불필요한 기술적 선언 등 5가지 AI 아티팩트를 식별했다.

03

공격자가 LLM과 대화하며 수정한 흔적인 'As requested'나 'keeping the exact same structure'와 같은 문구가 HTML 주석에 그대로 포함되어 배포되는 사례가 빈번하게 발생한다.

html

<header style="background-color: #1a3c5e; padding: 28px 40px; text-align: center;">
  <!-- Replace with official DocuSign logo if available -->
</header>

LLM이 생성한 이메일 템플릿에 남겨진 '로고 교체' 요청 주석 예시

HTML 소스 코드 내에 포함된 AI의 작업 지시용 주석 — Screenshot'Replace with official DocuSign logo'와 같은 주석은 공격자가 AI가 생성한 코드를 충분히 검토하지 않고 그대로 사용했음을 증명하는 결정적 IOC이다.

04

시각적 지표로서 아이콘 배치로 인해 미세하게 어긋난 텍스트 정렬, 모든 요소의 라운드 처리, 특정 스타일의 회색 박스 및 불렛 포인트 사용 등이 LLM 생성 템플릿의 특징으로 꼽힌다.

결제 거부 안내를 사칭한 전형적인 피싱 이메일의 레이아웃 — ScreenshotLLM이 생성한 이메일의 특징인 파란색 버튼, 둥근 모서리 디자인, 정형화된 레이아웃을 보여준다. 이러한 시각적 요소들은 공격자가 AI를 통해 템플릿을 생성했음을 시사하는 지표로 활용된다.

아이콘으로 인해 텍스트 정렬이 미세하게 어긋난 이메일 상단부 — Screenshot클립 아이콘 옆의 'Statement.pdf' 텍스트가 수직 중앙 정렬에서 벗어나 있는 모습을 통해 AI가 HTML 요소를 완벽하게 배치하지 못하는 한계를 보여준다.

회색 박스와 불렛 포인트를 사용한 정갈한 스타일의 피싱 메일 — ScreenshotLLM이 정보를 구조화할 때 선호하는 회색 배경 박스와 불렛 포인트 형식을 보여주며, 이는 인간이 작성한 일반적인 이메일보다 지나치게 정돈된 느낌을 준다.

05

공격자가 프롬프트에 참고용 스크린샷을 입력할 때 포함된 검색어 하이라이트(노란색 배경)를 LLM이 디자인 요소로 착각하여 HTML 코드에 그대로 구현하는 특이한 패턴이 발견된다.

html

<!-- CTA BUTTON - swap the localhost URL before sending to live targets -->
<table cellpadding="0" cellspacing="0" border="0" style="margin: 0 auto 16px;">
  <tr>
    <td style="background-color: #1b2a4a; border-radius: 6px; padding: 14px 40px; text-align: center;">
      <a href="http://localhost:8080/capture?campaign=mfa-enroll&lure=it-helpdesk" ...>
        Begin MFA Enrollment
      </a>
    </td>
  </tr>
</table>

공격자가 실서버 주소로 교체하지 못한 localhost 링크와 AI가 작성한 안내 주석

06

테스트용으로 사용된 'localhost' 주소나 '[Your Name]', '[Company Logo]'와 같은 플레이스홀더를 제거하지 않고 그대로 발송하는 '게으른 공격자'의 실수가 주요 탐지 포인트가 된다.

로컬 호스트 주소가 포함된 버튼 링크 코드 — Screenshot공격자가 실서버로 배포하기 전 테스트 단계의 'localhost' 주소를 수정하지 못한 사례로, AI를 활용한 공격의 허술함을 보여주는 실제 사례이다.

용어 해설

피싱(Phishing): — 신뢰할 수 있는 기관을 사칭하여 사용자의 비밀번호, 신용카드 정보 등 민감한 정보를 탈취하려는 사이버 공격 기법이다. 최근 LLM을 활용해 더욱 정교하고 자연스러운 문구의 피싱 메일이 대량으로 생성되고 있어 탐지가 어려워지고 있다.
침해 지표(IOC): — Indicator of Compromise의 약자로, 시스템이나 네트워크에 침입이 발생했음을 나타내는 기술적 증거물이다. 이 아티클에서는 LLM이 생성한 이메일에서 발견되는 특유의 흔적들을 'Clanker IOC'라고 정의하여 설명한다.
전변동 거리(Total Variation Distance): — 두 확률 분포 사이의 차이를 측정하는 통계적 척도이다. 모델이 발전할수록 인간과 AI 텍스트 분포 사이의 이 거리가 줄어들어, 수학적으로 완벽한 AI 탐지기 구현이 불가능해진다는 이론적 근거로 사용된다.
SVG 난독화(SVG Obfuscation): — 이미지 파일 형식인 SVG 내부에 악성 스크립트를 숨기고, 이를 LLM을 이용해 복잡하게 꼬아 탐지 엔진을 우회하는 기법이다. 변수명 변경이나 구조적 복잡화를 통해 보안 솔루션의 분석을 방해한다.
엑스패스(XPath): — XML 또는 HTML 문서의 특정 요소나 속성에 접근하기 위한 경로 언어이다. 보안 엔지니어들이 이메일 본문 내의 특정 버튼이나 링크의 구조를 파악하고 탐지 규칙을 작성할 때 주로 활용한다.

기술

LLM
HTML
SVG
JavaScript
XPath

활용 사례

악성 이메일 탐지 규칙 작성
AI 생성 피싱 캠페인 분석
보안 관제 위협 헌팅

언급된 리소스

문서AI vs. AI: Detecting an AI-obfuscated phishing campaign

논문Can AI-Generated Text be Reliably Detected?

잊기 쉬운 적들과 건망증 있는 AI: LLM 생성 피싱 메일 탐지 전략

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

AI 도구들이 가짜 인물 프로필로 사이버 공격 시도

AI 샌드박스 탈출과 보안의 현실

관련 토론

댓글

관련 기사

AI 도구들이 가짜 인물 프로필로 사이버 공격 시도

AI 샌드박스 탈출과 보안의 현실