이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
작성자는 같은 LinkedIn 프로필 URL에 User-Agent만 바꿔 여섯 차례 요청해 GPTBot, ClaudeBot, ChatGPT-User, Googlebot은 HTTP 999로 차단되고 OAI-SearchBot과 Claude-SearchBot은 HTTP 200을 받는 결과를 재현했습니다. 접근이 허용된 페이지에는 일반적인 직장인의 이름, 위치, 회사명, 학교명과 공개 게시물은 남지만 직무명, 경력 기간, 소개, 기술, 자격증 같은 핵심 직업 정보는 빠져 있었습니다. JSON-LD에서도 Person 노드가 없고 WebPage와 네 개의 DiscussionForumPosting 노드만 확인됐으며, 공개 인물 계정조차 직무명은 빈 문자열로 전달되고 소개가 중간에 잘렸습니다. 따라서 검색 증강을 사용하는 모델이 사람의 현재 직업을 답할 때 실제 프로필보다 회사명과 오래된 게시물을 근거로 삼고 나머지를 추정할 위험이 있지만, 빈 직무명이 정책인지 페이지 조립 방식의 부산물인지와 새로 크롤링 가능한 자료가 오래된 출처를 대체하는지는 확인되지 않았습니다.
섹션별 상세
작성자는 동일한 LinkedIn 프로필 URL에 User-Agent만 바꿔 여섯 번 요청하고 응답 코드를 비교했습니다. GPTBot, ClaudeBot, ChatGPT-User, Googlebot은 HTTP 999를 받았고 OAI-SearchBot과 Claude-SearchBot은 HTTP 200을 받았습니다. 이 결과는 일반 사용자 요청이 아니라 크롤러 식별 문자열에 따라 접근 정책이 달라질 수 있음을 보여주지만, Googlebot 차단 원인이 reverse DNS 검증이라는 부분은 작성자의 추정으로 남아 있습니다.
HTTP 200 응답의 구조화 데이터에는 WebPage 노드와 네 개의 DiscussionForumPosting 노드가 있었지만 Person 노드는 없었습니다. 화면에 표시되는 내용도 회사명만 있는 Experience, 날짜 없는 학교명, 그리고 직무명·소개·기술·자격증·추천 정보가 빠진 형태였습니다. 게시물 본문은 온전히 전달됐지만 가장 최신 글도 2024년 12월이고 그 이전 글은 2023년 7월의 채용 게시물이어서 현재 직업을 판별하는 자료로는 시간적 한계가 있습니다.
Creator-mode 공개 인물 프로필은 Person 노드를 내보냈고 alumniOf에 입학·졸업 연도, worksFor에 회사명 하나가 포함됐습니다. 그러나 jobTitle은 다섯 개의 빈 문자열로 전달됐고, 다섯 역할에는 직무명이 없었으며 description은 문장 중간에서 잘렸습니다. 따라서 공개 인물 계정도 구조화 데이터가 풍부한 직업 이력 전체를 제공한다기보다 일부 필드와 불완전한 텍스트만 노출하는 형태였습니다.
작성자가 가장 중요하게 본 문제는 차단 자체보다 허용된 데이터의 구성입니다. 사람에 대한 검색 증강 답변이 이름, 위치, 회사명, 학교명, 공개 게시물만 검색한 뒤 빠진 직무 정보를 추정할 수 있기 때문입니다. 다만 빈 jobTitle이 의도된 정책인지 로그아웃 페이지 조립의 결과인지는 확정하지 못했고, 다른 곳에 최신 크롤링 페이지를 추가했을 때 오래된 출처가 대체되는지 아니면 함께 검색되는지도 측정하지 못했습니다.
용어 해설
- JSON-LD
- — 웹페이지 안에 구조화된 데이터를 표현하는 JSON 기반 형식입니다. 이 글에서는 LinkedIn 페이지가 WebPage, Person, DiscussionForumPosting 같은 노드로 어떤 정보를 외부에 제공하는지 확인하는 데 사용됐습니다.
- User-Agent
- — 웹 요청을 보낸 클라이언트의 종류를 서버에 알리는 문자열입니다. LinkedIn은 요청마다 User-Agent를 다르게 제시했을 때 크롤러별로 HTTP 999 또는 HTTP 200을 반환했습니다.
- 모델이 답변을 만들 때 외부 문서나 웹페이지에서 관련 정보를 찾아오는 과정입니다. 글에서는 LinkedIn의 불완전한 프로필 정보와 오래된 게시물이 사람에 대한 답변의 근거가 될 수 있다고 지적합니다.(Retrieval)
- — 모델이 답변을 만들 때 외부 문서나 웹페이지에서 관련 정보를 찾아오는 과정입니다. 글에서는 LinkedIn의 불완전한 프로필 정보와 오래된 게시물이 사람에 대한 답변의 근거가 될 수 있다고 지적합니다.
- IP 주소를 도메인 이름으로 되돌려 확인하는 방식입니다. 글에서는 LinkedIn이 Googlebot 요청을 실제 Google 크롤러인지 판별하기 위해 reverse DNS 검증을 사용하는 것으로 추정하지만, 이를 직접 입증하지는 못했습니다.(reverse DNS)
- — IP 주소를 도메인 이름으로 되돌려 확인하는 방식입니다. 글에서는 LinkedIn이 Googlebot 요청을 실제 Google 크롤러인지 판별하기 위해 reverse DNS 검증을 사용하는 것으로 추정하지만, 이를 직접 입증하지는 못했습니다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 09. 01.수집 2026. 09. 01.출처 타입 REDDIT
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
