AI 크롤러 3대장 허용 가이드 — GPTBot·ClaudeBot·PerplexityBot

당신의 robots.txt는 AI를 막고 있을지 모른다

2023~2024년, 많은 사이트가 "AI 학습 방지"를 이유로 AI 봇을 일괄 차단했습니다. 보안업체나 호스팅사가 기본값으로 차단해둔 경우도 많습니다. 문제는 그 설정이 그대로 남아 AI 검색 노출까지 차단하고 있다는 것입니다.

알아야 할 AI 봇들

봇	운영사	역할
GPTBot	OpenAI	ChatGPT 답변용 콘텐츠 수집
ChatGPT-User	OpenAI	사용자가 링크를 열 때 실시간 방문
ClaudeBot	Anthropic	Claude 답변용 콘텐츠 수집
PerplexityBot	Perplexity	AI 검색엔진 색인
Google-Extended	Google	Gemini 학습·답변 활용 제어

권장 robots.txt

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://example.com/sitemap.xml

자주 하는 실수

1. 전체 차단이 남아있는 경우 — User-agent: * + Disallow: / 는 모든 봇(AI 포함)을 차단합니다. 리뉴얼 중 넣었다가 빼지 않은 사례가 정말 많습니다.
2. WAF/보안 설루션의 봇 차단 — robots.txt는 허용해도 방화벽이 User-Agent 기반으로 403을 돌려주는 경우. AI 봇의 요청 로그를 확인하세요.
3. Sitemap 지시어 누락 — AI 봇이 사이트 구조를 파악하는 가장 빠른 길이 sitemap입니다. robots.txt 마지막 줄에 꼭 선언하세요.

확인 방법

SchemaWorks 무료 진단의 robots.txt 카테고리가 이 항목들을 자동 검사합니다. 4점짜리 항목이지만, 여기서 막히면 나머지 96점이 의미가 없습니다 — AI가 사이트에 들어오지도 못하니까요.