학습은 막고, 검색은 열어라

CH.01

전부 차단의 대가: 당신이 막은 건 크롤러가 아니라 유입이다

일괄 차단은 학습 크롤러와 함께 검색 크롤러도 제한할 수 있습니다. 허용 대상을 정하기 전에 공급자별 학습, 검색, 사용자 요청용 가져오기를 확인하세요. 제어 방식과 예외는 서로 다릅니다.

대부분이 AI 크롤러를 막는 이유는 '학습에 끌려가기 싫어서'입니다. 이유 자체는 틀리지 않았습니다. 틀린 건 실행입니다. robots.txt에 User-agent: * / Disallow: /를 쓰거나 Cloudflare에서 'Block AI Bots'를 원클릭으로 켜고는 이게 학습만 막는다고 착각합니다. 실제로는 ChatGPT, Perplexity, Claude의 인용 답변을 구동하는 '검색 크롤러'까지 함께 막은 것입니다. 그리고 바로 그 검색 크롤러가 당신 사이트로 트래픽을 되돌려 보내는 종류입니다.

비율을 펼쳐 놓고 보면 한 방에 막는 게 왜 낭비인지 알게 됩니다. Cloudflare가 2026년 5월에 관측한 결과, AI 크롤러 요청의 51.8%는 순수 학습, 35.7%는 혼합 용도, 순수 검색은 단 9.3%였습니다. 당신이 정말 막고 싶은 학습 트래픽은 절반이 넘고, 절대 막으면 안 되는 순수 검색은 10%도 안 됩니다. 한 방에 전부 막는 건, 절반 넘는 방문자를 쫓아내려다가 유일하게 돈을 가져다주는 그 10% 미만의 손님까지 문밖에 가둬 버리는 짓입니다.

학습과 검색 접근은 별도로 제어합니다. OpenAI는 GPTBot과 OAI-SearchBot을, Anthropic은 ClaudeBot과 Claude-SearchBot을 구분합니다. Google-Extended는 Gemini 학습과 일부 grounding을 제어하며 Google Search 포함 여부나 순위에는 영향을 주지 않습니다. 이 구분만으로 모든 순위나 인용을 보장할 수는 없습니다.

CH.02

크롤러 용도와 제어 방식

같은 공급자도 학습, 검색 색인, 사용자 요청에 따른 가져오기에 다른 에이전트를 쓸 수 있습니다. 각 이름의 공식 용도와 제어 방식을 확인하세요. 회사가 같다고 규칙을 서로 바꿔 적용할 수 있는 것은 아닙니다.

GPTBot은 학습에 쓰일 수 있는 콘텐츠를 수집하고 OAI-SearchBot은 ChatGPT 검색을 지원합니다. ChatGPT-User는 일부 사용자 요청에 따른 접근을 처리하며 Search 포함 여부를 결정하지 않습니다. Anthropic은 ClaudeBot, Claude-SearchBot, Claude-User를 학습·검색·사용자 요청으로 구분합니다. 검색 접근은 콘텐츠 발견을 돕지만 모든 답변의 출처 링크를 보장하지 않습니다.

CH.03

정확한 분리 설정: robots.txt 한 줄 한 줄 작성법

크롤러의 product token과 일치하는 robots.txt 그룹을 확인합니다. RFC 9309는 일치하는 그룹을 합치고, 일치하는 그룹이 없을 때 * 그룹을 적용하도록 규정합니다. 적용 그룹 안에서는 가장 길게 일치하는 경로 규칙을 사용하며, Allow와 Disallow가 동등하면 Allow를 우선합니다.

기본 User-agent: * 그룹에 Disallow: /가 있어도 이름을 지정한 그룹의 Allow: /로 해당 검색 크롤러를 허용할 수 있습니다. 이름별 그룹이 없으면 wildcard 제한을 받을 수 있으므로 허용된다는 뜻이 아닙니다. 파일 순서가 아니라 적용 그룹과 경로를 확인하세요.

• →학습 정책: GPTBot, ClaudeBot, CCBot을 제한하려면 각각 User-agent 그룹에 Disallow: /를 설정합니다. Google-Extended는 별도로 결정하세요. Disallow는 학습뿐 아니라 해당 grounding 용도도 제한합니다.
• →검색 접근: User-agent: OAI-SearchBot에 Allow: /를 설정하고 Claude-SearchBot과 PerplexityBot도 각각 확인합니다. ChatGPT-User는 사용자 요청에 따른 접근이므로 robots.txt가 적용되지 않을 수 있습니다. Perplexity-User는 보통 이를 무시합니다. Anthropic은 세 에이전트가 robots.txt를 준수한다고 설명합니다.
• →검색 엔진 — 반드시 열기: Googlebot, Bingbot은 완전 수집 가능 상태로 유지하고, AI 학습 크롤러와 절대 한 묶음으로 다루지 마세요
• →wildcard 기본 규칙을 확인하세요. User-agent: *와 Disallow: /는 일치하는 이름별 그룹이 없는 에이전트를 제한할 수 있지만 명시적으로 일치하는 그룹을 자동으로 덮어쓰지는 않습니다. robots.txt는 크롤링 지침이지 강제 접근 제어가 아닙니다.

CH.04

CDN 레벨 제어: 진짜로 막아 내는 그 벽

결론부터. robots.txt는 요청이고, CDN은 집행입니다. '예의 바르게 부탁'이 아니라 '확실하게 차단'이 필요하다면, 접근 제어는 호스트나 CDN 레벨에서 user-agent 규칙으로 403을 돌려줘야 합니다. robots.txt에만 적어 두는 것으로는 부족합니다.

왜냐고요? robots.txt에는 강제력이 없기 때문입니다. user-agent를 위장하거나 아예 규칙을 무시하는 크롤러는 당신이 Disallow한 디렉터리도 그대로 긁어 갑니다. '학습되지 않기'처럼 실질적 이해관계가 걸린 목적이라면 안내판만으로는 부족합니다. 요청이 콘텐츠에 닿기 전에 CDN/WAF가 user-agent를 보고 곧장 차단해야 합니다.

CH.05

설정 적용 검증: 검색 크롤러가 여전히 들어오는지 확인하라

결론부터. 설정했다고 제대로 된 게 아닙니다. 분리에서 가장 위험한 실패는 '조용히 잘못 막는 것'입니다. 학습만 막았다고 믿지만 실제로는 검색 크롤러까지 막혔는데, 아무 오류 메시지도 없습니다. 가정하지 말고 능동적으로 검증해야 합니다.

검증의 목표는 하나뿐입니다. '막아야 할 학습 크롤러는 막혔고, 열어야 할 검색 크롤러는 잘 통한다'를 확인하는 것. 양쪽 모두 점검해야 합니다. 학습이 막힌 것만 확인하고 검색이 열린 건 안 보면, 절반만 검증한 셈입니다. 아래 다섯 단계는 30분 안에 한 바퀴 돌릴 수 있습니다.

CH.06

분리 설정 템플릿: 복사, 붙여넣기, 끝

결론부터. 처음부터 쓸 필요 없습니다. 아래 robots.txt 템플릿은 학습은 이미 막고 검색은 열어 두었습니다. 한 줄씩 대조 설명을 보고, 당신 도메인으로 바꾸면 바로 배포할 수 있습니다.

사용법: 아래 표의 지시문을 순서대로 당신 사이트 루트의 /robots.txt에 적으세요. 학습 크롤러는 각각 독립 블록(User-agent 한 줄, Disallow 한 줄)이고, 검색 크롤러는 명시적으로 Allow하며, 마지막에 Sitemap을 남깁니다. 4장과 함께 적용하는 걸 잊지 마세요. '막아야 할' 이 몇 개를 CDN/WAF 강제 차단 규칙에도 똑같이 추가하십시오.