GEO

ROBOTS 정책 · 공식 출처 매트릭스

AI 크롤러에 대한 robots.txt 결정을 명확하게.

검색 노출, 모델 학습, 사용자 요청 수집을 분리하고 현재 공급사 문서에서 robots.txt로 제어 가능하다고 밝힌 그룹만 생성합니다.

운영 입장에서 시작

프리셋이 제어 가능한 모든 token을 채우며 복사 전에 각각 바꿀 수 있습니다.

제어 매트릭스

token마다 하나의 명확한 결정

‘제어 가능’ 행만 초안에 들어갑니다. 안내 행은 사용자 요청 동작을 설명하지만 오해를 부르는 규칙은 만들지 않습니다.

OpenAIOAI-SearchBot
검색 발견제어 가능

ChatGPT 검색에 사이트를 표시하고 연결하는 OpenAI 검색 크롤러입니다.

GPTBot과 독립적이며 허용해도 학습 크롤링이 허용되지는 않습니다.

OAI-SearchBot: 내 지시
OpenAIGPTBot
모델 학습제어 가능

기초 모델 학습에 사용될 수 있는 콘텐츠용 OpenAI 크롤러입니다.

차단은 향후 콘텐츠에 대한 신호이며 ChatGPT 검색 노출과는 별개입니다.

GPTBot: 내 지시
OpenAIChatGPT-User
사용자 요청 수집안내 전용

사용자 요청으로 실행되는 OpenAI 수집기이며 자동 웹 크롤러가 아닙니다.

robots.txt가 적용되지 않을 수 있고 검색 노출도 결정하지 않으므로 규칙을 생성하지 않습니다.

안내 전용
AnthropicClaudeBot
모델 학습제어 가능

모델 학습에 기여할 수 있는 웹 콘텐츠용 Anthropic 크롤러입니다.

Anthropic은 현재 자사 bots가 robots.txt를 따른다고 설명합니다.

ClaudeBot: 내 지시
AnthropicClaude-SearchBot
검색 발견제어 가능

검색 결과 품질을 높이는 Anthropic 검색 크롤러입니다.

ClaudeBot 학습 접근과 분리해서 결정해야 합니다.

Claude-SearchBot: 내 지시
AnthropicClaude-User
사용자 요청 수집제어 가능

사용자 요청에 따라 실행되는 Anthropic 수집기입니다.

현재 문서상 robots.txt로 제어 가능하며 차단 시 사용자 요청 웹 수집이 줄 수 있습니다.

Claude-User: 내 지시
GoogleGoogle-ExtendedHTTP User-Agent가 아닌 제어 token
학습 + grounding제어 가능

Gemini 학습과 Google Search grounding을 제어하는 Google token입니다.

별도 HTTP User-Agent가 없으며 Google 검색 노출이나 순위에 영향을 주지 않습니다.

Google-Extended: 내 지시
PerplexityPerplexityBot
검색 발견제어 가능

웹사이트를 검색 결과에 표시하고 연결하는 Perplexity 검색 크롤러입니다.

Perplexity는 기초 모델 학습에 사용하지 않는다고 밝힙니다.

PerplexityBot: 내 지시
PerplexityPerplexity-User
사용자 요청 수집안내 전용

사용자 요청 Perplexity 수집기이며 크롤링·학습 bot이 아닙니다.

일반적으로 robots.txt를 무시한다고 설명하므로 규칙을 생성하지 않습니다.

안내 전용

근거 검토일 · 2026-08-12

공식 제어 근거

배포 전에 최신 공급사 문서를 열어 확인하세요. 제품과 크롤러 동작은 검토일 이후 바뀔 수 있습니다.

OpenAI

OAI-SearchBot, GPTBot, 사용자 요청 ChatGPT-User의 분리된 제어.

공식 출처 열기
Anthropic

ClaudeBot, Claude-SearchBot, Claude-User robots 지침.

공식 출처 열기
Google

Google-Extended 제어 token에 대한 공통 크롤러 문서.

공식 출처 열기
Perplexity

PerplexityBot과 Perplexity-User의 역할 및 robots 동작.

공식 출처 열기

배포 경계

생성 내용은 의도적으로 좁습니다. 교체 파일이 아니라 검토용 조각으로 다루세요.

  1. 01기존 robots.txt에 병합하세요. 파일을 통째로 교체하면 다른 검색 지시가 사라질 수 있습니다.
  2. 02출시 직전에 공급사 문서를 다시 확인하세요. 이름, 목적, robots 동작은 바뀔 수 있습니다.
  3. 03robots.txt에서 허용해도 WAF, CDN, 호스팅 규칙 또는 IP 차단이 접근을 막을 수 있습니다.
  4. 04robots.txt는 접근이나 색인, 모델 가시성, 언급, 인용을 보장하지 않습니다. 사용자 요청 에이전트는 다르게 동작할 수 있습니다.

게시 전 확인

Allow가 AI 엔진 접근이나 인용을 보장하나요?

아닙니다. robots.txt는 크롤러 선호 신호입니다. 네트워크 제어, 공급사 시스템, 관련성, 제품 동작은 별개입니다.

ChatGPT-User와 Perplexity-User를 생성하지 않는 이유는 무엇인가요?

공식 문서상 사용자 요청 동작에는 robots.txt가 적용되지 않거나 일반적으로 무시됩니다. 규칙 생성은 제어 가능성을 과장합니다.

현재 robots.txt를 이 출력으로 교체해도 되나요?

안 됩니다. 검토한 그룹만 기존 파일에 병합하고 검색·자산 규칙을 유지한 다음 실제 응답을 테스트하세요.