AI 크롤러를 위한 웹사이트 재구축 경험 공유

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

AI 검색 엔진의 오답을 방지하기 위해 자바스크립트 의존성을 제거하고 구조화된 데이터와 llms.txt를 도입한 웹사이트 재구축 사례이다.

배경

Perplexity가 자사 서비스를 경쟁사 서비스로 오인하여 답변하는 문제를 발견한 후, AI 크롤러가 읽기 쉬운 구조로 웹사이트를 전면 개편했다.

의미 / 영향

이 토론은 웹사이트의 타겟 오디언스가 인간에서 AI 모델로 확장되고 있음을 보여준다. 단순한 성능 최적화를 넘어 기계가 정보를 오해 없이 수집할 수 있도록 하는 'AI 엔진 최적화(AEO)'가 실무의 핵심 과제로 부상하고 있다.

커뮤니티 반응

대체로 긍정적이며, 많은 사용자가 AI 시대의 새로운 SEO 전략으로서 기계 친화적인 웹 설계에 공감하고 있습니다.

주요 논점

01찬성다수

AI 크롤러가 웹의 주요 소비자가 된 만큼 정적 렌더링과 구조화된 데이터 중심의 설계는 필수적이다.

합의점 vs 논쟁점

합의점

자바스크립트 의존성이 높은 사이트는 AI 검색 엔진 최적화에 불리하다.
구조화된 데이터(Schema)는 수동 관리보다 자동화된 파이프라인으로 관리해야 오류가 적다.

논쟁점

AI 크롤러의 최적화 성과를 정량적으로 측정할 수 있는 명확한 지표가 아직 부족하다.

실용적 조언

Astro와 같은 정적 사이트 생성기를 사용하여 크롤러가 읽기 쉬운 HTML을 우선 제공하라.
llms.txt 파일을 루트 디렉토리에 추가하여 모델에게 서비스의 핵심 정보와 제외 사항을 알려라.
Search Console을 정기적으로 확인하여 구조화된 데이터의 추출 오류를 모니터링하라.

섹션별 상세

자바스크립트 하이드레이션 방식의 프레임워크가 AI 크롤러의 가독성을 저해하는 문제를 제기했다. Astro를 도입하여 빌드 타임에 순수 HTML을 생성함으로써 크롤러가 추가 작업 없이 콘텐츠를 즉시 읽을 수 있도록 구조를 변경했다. Lighthouse 점수 상승과 자바스크립트 전송량 감소라는 부수적인 성능 이득을 얻었으며, 이는 기계 친화적인 웹 설계의 중요성을 시사한다.

구조화된 데이터 생성을 자동화하여 정보의 일관성을 확보했다. 마크다운에서 FAQ나 단계별 가이드를 추출하여 JSON-LD 스키마로 자동 변환하는 팩토리 패턴을 적용했다. 수동으로 작성하던 방식에서 벗어나 빌드 프로세스에 통합함으로써 검색 엔진과 AI 모델이 페이지의 맥락을 정확히 파악하도록 유도했다.

llms.txt 파일을 도입하여 모델의 혼동을 방지하는 새로운 시도를 수행했다. 해당 파일에 서비스가 지원하지 않는 기능을 명시적으로 기술함으로써 유사 업체와의 혼동을 줄이는 효과를 확인했다. 이는 전통적인 SEO를 넘어 AI 모델과의 직접적인 소통 채널을 구축하는 실무적인 접근법으로 평가된다.

스키마 생성 과정에서 발생한 정규표현식 오류 사례를 통해 테스트 자동화의 필요성을 확인했다. FAQ 추출 로직이 손상되었음에도 빌드는 성공하여 수주 간 오류를 인지하지 못했으나, Search Console을 통해 사후 발견했다. 이를 계기로 배포 전 스키마 생성 여부를 검증하는 테스트 단계를 추가하여 데이터 무결성을 보장했다.

용어 해설

Hydration: — 정적 HTML에 자바스크립트 이벤트 리스너를 결합하여 인터랙티브한 상태로 만드는 과정이다. 클라이언트 사이드 렌더링(CSR) 프레임워크에서 주로 발생하며, 이 과정이 완료되기 전에는 크롤러가 실제 콘텐츠를 읽지 못할 위험이 있다.
JSON-LD: — JSON 형식을 사용하여 구조화된 데이터를 표현하는 방법이다. 검색 엔진이나 AI 모델이 웹페이지의 의미를 명확히 이해하도록 돕는 표준 규격으로, 블로그 포스트나 FAQ 등의 정보를 기계가 읽기 쉬운 형태로 제공한다.
llms.txt: — LLM 크롤러를 위해 웹사이트의 핵심 정보를 요약하여 제공하는 텍스트 파일 규약이다. 모델이 사이트의 기능을 오해하지 않도록 명시적인 가이드를 제공하며, 최근 AI 검색 최적화를 위한 새로운 표준으로 부상하고 있다.

언급된 도구

Astro추천

정적 사이트 생성을 통한 HTML 우선 렌더링 및 JS 최소화

Framer비추천

기존에 사용하던 웹 빌더 (JS 의존성 문제로 교체됨)