잊기 쉬운 적들과 건망증 있는 AI: LLM 생성 피싱 메일 탐지 전략

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

언어 모델이 정교해짐에 따라 인간과 AI의 텍스트를 구분하는 것이 수학적으로 불가능해지고 있다는 연구 결과가 있으나, 실제 공격 현장에서는 여전히 LLM 특유의 구조적 흔적이 발견된다. 공격자들이 LLM을 사용하여 이메일 본문이나 악성 페이로드를 생성할 때, AI와의 대화 내용이 주석으로 남거나 불필요하게 복잡한 코드가 생성되는 등의 패턴이 나타난다. 이러한 'Clanker(AI) 지표'는 현재 시점에서 위협 헌팅을 위한 강력한 신호로 작용하며, 공격자의 부주의로 남겨진 플레이스홀더나 로컬 호스트 주소 등이 결정적인 증거가 된다. 본 아티클은 이메일 탐지 엔지니어의 관점에서 실제 발견된 사례들을 통해 AI 생성 콘텐츠의 특징적인 지표들을 분석한다.

배경

HTML/CSS 기본 구조 이해, 피싱 탐지 및 위협 헌팅 기본 개념, LLM 프롬프팅 및 코드 생성 특성에 대한 이해

대상 독자

이메일 보안 엔지니어, 위협 헌팅 전문가, 사이버 보안 연구원

의미 / 영향

AI 모델이 인간 수준의 텍스트를 생성하더라도, 이를 활용하는 인간의 부주의와 모델의 구조적 특성이 결합되어 새로운 탐지 지표를 형성한다. 이러한 지표들은 공격 기법이 고도화됨에 따라 점차 사라질 것이므로, 현재의 '황금기' 동안 데이터를 수집하고 탐지 로직을 강화하는 것이 중요하다.

섹션별 상세

Sadasivan 등의 연구(ICLR 2024)에 따르면 모델 성능이 향상될수록 인간과 AI 텍스트 분포 사이의 전변동 거리(TVD)가 줄어들어 신뢰할 수 있는 탐지가 근본적으로 불가능해진다.

Microsoft 위협 인텔리전스는 2025년 보고서에서 LLM으로 난독화된 SVG 피싱 캠페인을 분석하며 과도하게 설명적인 변수명, 오버엔지니어링된 코드 구조, 불필요한 기술적 선언 등 5가지 AI 아티팩트를 식별했다.

공격자가 LLM과 대화하며 수정한 흔적인 'As requested'나 'keeping the exact same structure'와 같은 문구가 HTML 주석에 그대로 포함되어 배포되는 사례가 빈번하게 발생한다.

html

<header style="background-color: #1a3c5e; padding: 28px 40px; text-align: center;">
  <!-- Replace with official DocuSign logo if available -->
</header>

LLM이 생성한 이메일 템플릿에 남겨진 '로고 교체' 요청 주석 예시

HTML 소스 코드 내에 포함된 AI의 작업 지시용 주석 — Screenshot'Replace with official DocuSign logo'와 같은 주석은 공격자가 AI가 생성한 코드를 충분히 검토하지 않고 그대로 사용했음을 증명하는 결정적 IOC이다.

시각적 지표로서 아이콘 배치로 인해 미세하게 어긋난 텍스트 정렬, 모든 요소의 라운드 처리, 특정 스타일의 회색 박스 및 불렛 포인트 사용 등이 LLM 생성 템플릿의 특징으로 꼽힌다.

결제 거부 안내를 사칭한 전형적인 피싱 이메일의 레이아웃 — ScreenshotLLM이 생성한 이메일의 특징인 파란색 버튼, 둥근 모서리 디자인, 정형화된 레이아웃을 보여준다. 이러한 시각적 요소들은 공격자가 AI를 통해 템플릿을 생성했음을 시사하는 지표로 활용된다.

아이콘으로 인해 텍스트 정렬이 미세하게 어긋난 이메일 상단부 — Screenshot클립 아이콘 옆의 'Statement.pdf' 텍스트가 수직 중앙 정렬에서 벗어나 있는 모습을 통해 AI가 HTML 요소를 완벽하게 배치하지 못하는 한계를 보여준다.

회색 박스와 불렛 포인트를 사용한 정갈한 스타일의 피싱 메일 — ScreenshotLLM이 정보를 구조화할 때 선호하는 회색 배경 박스와 불렛 포인트 형식을 보여주며, 이는 인간이 작성한 일반적인 이메일보다 지나치게 정돈된 느낌을 준다.

공격자가 프롬프트에 참고용 스크린샷을 입력할 때 포함된 검색어 하이라이트(노란색 배경)를 LLM이 디자인 요소로 착각하여 HTML 코드에 그대로 구현하는 특이한 패턴이 발견된다.

html

<!-- CTA BUTTON - swap the localhost URL before sending to live targets -->
<table cellpadding="0" cellspacing="0" border="0" style="margin: 0 auto 16px;">
  <tr>
    <td style="background-color: #1b2a4a; border-radius: 6px; padding: 14px 40px; text-align: center;">
      <a href="http://localhost:8080/capture?campaign=mfa-enroll&lure=it-helpdesk" ...>
        Begin MFA Enrollment
      </a>
    </td>
  </tr>
</table>

공격자가 실서버 주소로 교체하지 못한 localhost 링크와 AI가 작성한 안내 주석

테스트용으로 사용된 'localhost' 주소나 '[Your Name]', '[Company Logo]'와 같은 플레이스홀더를 제거하지 않고 그대로 발송하는 '게으른 공격자'의 실수가 주요 탐지 포인트가 된다.

로컬 호스트 주소가 포함된 버튼 링크 코드 — Screenshot공격자가 실서버로 배포하기 전 테스트 단계의 'localhost' 주소를 수정하지 못한 사례로, AI를 활용한 공격의 허술함을 보여주는 실제 사례이다.

실무 Takeaway

이메일 HTML 소스 내에 'As requested'와 같이 AI와의 대화 맥락이 담긴 주석이 있는지 확인하여 LLM 생성 여부를 판단할 수 있다.
텍스트 정렬 불일치나 의도하지 않은 노란색 하이라이트 등 시각적 부자연스러움을 위협 헌팅의 초기 신호로 활용해야 한다.
LLM은 코드를 과도하게 일반화하고 주석을 상세히 다는 경향이 있으므로, 이메일 페이로드 내의 비정상적인 코드 밀도를 분석하는 것이 효과적이다.

언급된 리소스

문서AI vs. AI: Detecting an AI-obfuscated phishing campaign

논문Can AI-Generated Text be Reliably Detected?