AI 크롤러를 클릭 한 번으로 모두 차단하면 편해 보이지만, AI 답변에 자사 콘텐츠가 노출될 기회까지 사라집니다. ChatGPT와 Perplexity가 출처를 인용할 때 사용하는 크롤러와 모델 학습용 콘텐츠를 수집하는 크롤러는 대개 서로 다르기 때문입니다. Cloudflare의 ‘Block AI Bots’ 스위치는 이 둘을 한꺼번에 차단합니다.
많은 팀이 AI가 자사 사이트를 수집한다는 사실을 처음 알아차리는 계기는 원인을 알 수 없는 서버 트래픽 증가입니다. 또는 법무팀에서 “우리 콘텐츠가 모델 학습에 사용됐나요?”라고 문제를 제기하면서 드러나기도 합니다. 이때 가장 먼저 떠올리는 대응은 Cloudflare에서 모든 AI 크롤러를 차단하는 옵션을 찾는 것입니다. 실제로 Cloudflare는 3초면 켤 수 있는 간편한 스위치를 제공합니다. 하지만 AI 엔진의 추천과 브랜드 노출이 중요한 B2B SaaS라면, 일괄 차단은 잠재 고객이 유입될 경로까지 끊는 조치가 될 수 있습니다. 이 글에서는 원치 않는 크롤러만 정확히 막고, 인용에 필요한 크롤러는 허용하는 방법을 다룹니다.
먼저 분명히 구분해야 합니다. AI 크롤러는 세 유형으로 나뉘며, 모두 같은 방식으로 처리해서는 안 됩니다.
‘AI 크롤러’로 한데 묶이는 봇도 실제로는 서로 다른 세 가지 역할을 수행합니다. 각 유형을 이해해야 무엇을 차단하고 무엇을 그대로 허용할지 판단할 수 있습니다.
- 학습 크롤러: 콘텐츠를 수집해 모델 학습에 활용합니다. 대표적으로 OpenAI의 GPTBot, Anthropic의 ClaudeBot, ByteDance의 Bytespider, Common Crawl의 CCBot이 있습니다. 이들을 차단해도 출처 인용에는 영향을 주지 않습니다.
- 검색 크롤러: 사용자가 ChatGPT나 Perplexity에 질문하면 페이지를 실시간으로 가져와 답변에 내용을 반영하고 출처를 표시합니다. OAI-SearchBot, ChatGPT-User, PerplexityBot, Perplexity-User, Claude-User가 대표적입니다. AI 답변에 자사 콘텐츠를 노출하는 핵심 경로이므로, 이 유형을 차단하면 답변에서 사라질 수 있습니다.
- 검색 인덱스 크롤러: Googlebot과 Bingbot이 대표적입니다. 전통적인 검색에만 쓰이는 것은 아닙니다. Google AI Overviews는 Googlebot에 의존하며, ChatGPT와 Copilot도 일부 결과에 Bing을 활용합니다. 실수로 차단하면 SEO 검색 유입과 AI 브랜드 노출이 함께 감소합니다.
가장 직관에 어긋나는 부분은 이것입니다. 학습 크롤러를 차단해도 AI 답변에서 사라지지는 않습니다. 모델이 몇 달 전 자사 콘텐츠를 학습에 사용했는지와, 현재 검색 크롤러 및 검색 인덱스 크롤러가 콘텐츠를 가져와 출처로 제시하는지는 별개의 문제입니다. 따라서 모델 학습에는 사용을 허용하지 않으면서도 실시간 인용 기회는 확보할 수 있습니다. 전제는 각 크롤러의 역할을 정확히 구분하는 것입니다.
1단계: Cloudflare에서 어떤 크롤러가 접근하는지 확인하기
차단부터 시작하지 말고 먼저 데이터를 확인해야 합니다. Cloudflare 대시보드의 ‘AI Crawl Control’(이전 명칭 AI Audit)에서는 AI 크롤러별 최근 요청 수, 수집한 경로, 현재 허용 또는 차단 상태를 확인할 수 있습니다. 처음 열어 보면 예상 밖의 결과가 나올 수 있습니다. Bytespider나 GPTBot의 요청량이 Googlebot보다 많을 때도 있습니다. 이 목록이 이후 모든 판단의 기준입니다. 실제로 서버 자원을 소모하는 봇이 무엇인지, 특정 검색 크롤러가 한 번도 방문하지 않았는지부터 살펴보세요. 방문 기록이 없다면 해당 엔진에 아직 자사 콘텐츠가 노출되지 않았다는 의미일 수 있습니다.
2단계: 일괄 차단 대신 유형별로 허용·차단하기
Cloudflare에는 강점이 서로 다른 세 가지 도구가 있으며, 함께 사용할 때 가장 효과적입니다. 보안 설정의 ‘Block AI Bots’는 가장 간편한 원클릭 옵션이지만, 검색 크롤러까지 함께 막는 광범위한 조치입니다. AI 브랜드 노출이 전혀 중요하지 않은 경우가 아니라면 사용에 신중해야 합니다. 관리형 robots.txt는 규칙을 준수하는 학습 크롤러를 제어하는 데 적합합니다. 가장 정밀한 도구는 개별 봇을 허용하거나 차단할 수 있는 WAF 사용자 지정 규칙이며, 이를 주된 제어 수단으로 활용합니다.
- WAF 사용자 지정 규칙에서 차단 규칙을 만듭니다. Bytespider, CCBot, GPTBot, ClaudeBot 등 학습 크롤러의 사용자 에이전트를 조건으로 지정하고, 작업을 차단 또는 403 응답으로 설정합니다.
- 별도의 Skip 규칙을 만들어 OAI-SearchBot, PerplexityBot, Perplexity-User, ChatGPT-User, Googlebot, Bingbot을 명시적으로 허용합니다. 이 규칙을 차단 규칙보다 앞에 배치해 검색 요청이 항상 정상적으로 처리되도록 합니다.
- 사용자 에이전트 문자열만 비교하지 말고 Cloudflare의 ‘verified bot’ 필드를 활용합니다. 사용자 에이전트는 위조할 수 있어 Googlebot을 사칭하는 요청도 있기 때문입니다. Cloudflare가 역방향 DNS와 서명으로 확인한 봇을 기준으로 삼으면 사칭 봇을 걸러낼 수 있습니다.
- 한 단계 더 나아가 크롤링을 수익이나 협상 수단으로 전환하는 방안도 생각할 수 있습니다. 다만 Cloudflare의 Pay Per Crawl은 2024년 12월 2일 현재 제공되는 기능이 아닙니다. 향후 이와 같은 기능이 도입되면 학습 크롤러에 HTTP 402를 반환하고, 콘텐츠 수집 전에 결제를 요구하는 방식이 가능해질 수 있습니다.
어떤 크롤러를 허용하고, 어떤 크롤러를 차단해야 할까요?
목표가 AI 엔진의 추천과 브랜드 노출이라면, 대부분의 B2B SaaS에 적용할 기본 원칙은 명확합니다. 검색 및 검색 인덱스 크롤러는 모두 허용하고, 학습 크롤러는 선택적으로 차단합니다. 특히 혼동하기 쉬운 두 가지를 주의해야 합니다. 첫째, Google-Extended와 Googlebot은 서로 다릅니다. Google-Extended는 콘텐츠를 Gemini 학습 및 그라운딩에 사용할 수 있는지만 제어합니다. 이를 차단해도 AI Overviews에서 사라지지는 않습니다. 하지만 Googlebot까지 차단하면 Google 생태계 전반에서 콘텐츠를 확인할 수 없게 됩니다. 둘째, Bing을 차단해서는 안 됩니다. ChatGPT와 Copilot은 일부 결과에 Bing 인덱스를 활용하므로 Bingbot 차단은 이들 서비스의 노출에도 영향을 줍니다.
3단계: 의도하지 않은 차단이 없는지 검증하기
규칙을 적용했다고 해서 의도대로 작동한다고 가정해서는 안 됩니다. AI Crawl Control과 WAF 이벤트 로그로 돌아가 항목별로 확인하세요. 학습 크롤러에는 403이 반환되는지, 검색 크롤러와 Googlebot에는 계속 안정적으로 200이 반환되는지 점검해야 합니다. 가장 흔한 사고는 범위가 지나치게 넓은 차단 규칙에 Googlebot까지 포함되는 경우입니다. AI만 막았다고 생각했지만 2주 뒤 자연 검색 순위가 무너지기 시작할 수 있습니다. Google Search Console에서 URL을 검사하거나 서버 응답 코드를 직접 확인하세요. 허용 목록의 크롤러가 문제없이 접근하는지 1주일간 비교·관찰한 뒤 설정을 마무리하는 것이 안전합니다.
AI 크롤러를 차단하는 일 자체는 쉽습니다. 어려운 것은 차단해야 할 대상만 정확히 막으면서, 자사 콘텐츠를 AI 답변으로 연결하는 크롤러에는 접근 경로를 활짝 열어 두는 것입니다.— Tenten GEO
크롤러 차단은 방어 수단일 뿐, 최종 목표는 출처로 인용되는 것입니다.
크롤러 트래픽을 관리하는 목적은 서버 자원이 무단으로 소모되거나 과도한 요청으로 서버가 다운되는 상황을 막는 데 있습니다. 하지만 검색 크롤러를 허용한다고 해서 AI가 자동으로 자사 콘텐츠를 인용하는 것은 아닙니다. 크롤러가 콘텐츠에 접근할 수 있어야 하고, 내용을 이해할 수 있어야 하며, 인용할 가치가 있다고 판단해야 합니다. 콘텐츠 구조, 엔티티 마크업과 구조화 데이터, 플랫폼 전반의 일관된 브랜드 정보가 GEO의 진짜 경쟁 영역입니다. Cloudflare 설정은 문을 여는 작업일 뿐, 실제 답변에 포함되는지는 별개의 과제입니다. 6대 AI 엔진에서 인용되지 않는 이유가 무엇인지, 허용한 크롤러가 실제 성과로 이어지는지 확인하고 싶다면 30분 GEO 진단을 예약하세요. 실제 고객 질문을 바탕으로 노출 격차가 발생하는 지점을 보여드립니다.
