AI 크롤러의 크롤링 역량은 무한하지 않습니다. 생각보다 훨씬 자주 엉뚱한 페이지에서 자원을 소진합니다. 중대형 웹사이트라면 GPTBot, ClaudeBot, PerplexityBot의 일일 크롤링 중 절반 이상이 페이지네이션, 필터 매개변수, 오래된 이벤트 페이지처럼 인용될 가능성이 없는 URL에 집중될 수 있습니다. 그 결과 AI에 인용되길 바라는 제품 페이지와 비교 콘텐츠는 오히려 가장 늦게 갱신되고 재크롤링 주기도 길어집니다. 크롤 예산 최적화의 핵심은 잘못 연결된 수도관을 올바른 출구로 돌리는 데 있습니다.
AI 크롤러는 많이 크롤링할수록 좋을까요?
크롤 예산(crawl budget)은 원래 Google을 중심으로 논의되던 개념입니다. 검색 엔진이 특정 웹사이트를 크롤링하는 데 투입하려는 자원의 규모를 뜻합니다. 서버가 감당할 수 있는 수준인 크롤 속도 제한(crawl rate limit)과 엔진이 판단하는 크롤링 가치인 크롤 수요(crawl demand), 이 두 요소로 결정됩니다. GEO 시대에 들어서면서 주요 크롤러는 하나에서 12개 안팎으로 늘었고, 각 크롤러의 요청량과 접근 방식도 다릅니다. 일부 웹사이트의 서버 로그를 보면 ClaudeBot과 GPTBot의 크롤링 규모가 기존 Googlebot에 근접하거나 이를 넘어선 사례도 있습니다. 이들 대부분은 JavaScript를 실행하지 않고 응답 속도에 민감합니다. 가치가 낮은 URL이 많다고 해서 스스로 선별하는 것도 아닙니다. 제공한 URL은 그대로 크롤링합니다.
먼저 누가 예산을 쓰고 있는지 파악하세요
최적화에 앞서 어떤 크롤러가 자원을 소모하는지부터 확인해야 합니다. AI 크롤러의 목적은 서로 다릅니다. 모델 학습용, 실시간 검색용(대화 중 사용자가 질문할 때만 크롤링), 또는 두 용도를 모두 겸하는 크롤러가 있습니다. 목적에 따라 접근을 허용할지, 허용한다면 어느 페이지를 먼저 크롤링하게 할지 결정해야 합니다. 다음은 현재 대부분의 B2B 웹사이트 로그에서 자주 확인되는 크롤러입니다. 이후 로그 분석과 robots.txt 설정에 필요하므로 사용자 에이전트 이름을 기억해 두세요.
- GPTBot(OpenAI 학습용), OAI-SearchBot(ChatGPT 실시간 검색용)
- ClaudeBot/Claude-User(Anthropic 학습 및 실시간 검색용)
- PerplexityBot/Perplexity-User(Perplexity 색인 및 즉시 크롤링용)
- Google-Extended(Gemini의 콘텐츠 사용 여부를 제어하며 일반 검색 순위에는 영향을 주지 않음)
- Amazonbot, Bytespider, Meta-ExternalAgent(요청량이 많지만 크롤링 규모를 과소평가하기 쉬운 크롤러)
크롤 예산이 새고 있다는 3가지 신호
- 로그에 기록된 크롤러 요청 중 절반 이상이 핵심 콘텐츠 페이지가 아니라 물음표가 포함된 매개변수 URL이나 정렬·필터 URL에 집중됩니다.
- 새로 발행한 비교 콘텐츠, 가격 페이지, 사례 페이지 등 핵심 페이지를 AI 크롤러가 마지막으로 방문한 지 2~3주 이상 지났습니다.
- 크롤러가 404 페이지, 301 리디렉션 또는 응답에 3~4초가 걸리는 페이지를 반복해서 방문합니다. 요청이 발생할 때마다 예산이 낭비됩니다.
사이트 규모가 클수록 문제는 더 뚜렷해집니다. 페이지가 30개뿐인 이미지 사이트라면 크롤 예산을 크게 걱정할 필요가 없습니다. 하지만 이커머스 카테고리, 블로그 페이지네이션, 다국어 버전 또는 수많은 매개변수 조합을 만드는 필터 탐색이 있다면 크롤링 가능한 URL 수는 실제 콘텐츠 페이지의 수십 배로 쉽게 늘어납니다. 크롤러의 예산은 한정돼 있습니다. URL이 늘어난다고 예산이 더 생기는 것이 아니라 핵심 페이지가 크롤링될 확률만 낮아집니다.
서버 로그에서 예산 누수를 찾으세요
추측만으로는 해결할 수 없습니다. 로그를 확인해야 합니다. 크롤 예산을 가장 정확하게 보여주는 데이터는 서버 액세스 로그입니다. AI 크롤러의 사용자 에이전트를 필터링하면 크롤러별 방문 횟수, 요청이 분포한 URL 유형, 상태 코드별 응답 비율(200, 301, 404, 5xx)을 계산할 수 있습니다. 낭비는 대체로 몇 가지 패턴에 집중됩니다. 패싯 필터가 생성한 매개변수 조합, 사이트 내부 검색 결과 페이지, 끝없이 이어지는 페이지네이션, 이미 종료했어야 할 오래된 이벤트 페이지입니다. 먼저 측정해야 어느 구간을 차단할 때 가장 많은 예산을 절약할 수 있는지 알 수 있습니다. AI 가시성 모니터링은 콘텐츠가 인용됐는지를 보여주고, 로그는 크롤러가 어디에 시간을 쓰는지를 보여줍니다. 두 데이터를 함께 비교해야 합니다.
크롤 예산을 핵심 페이지로 돌리는 6가지 방법
- robots.txt의 Disallow로 사이트 내부 검색, 필터 매개변수, 장바구니 등 크롤링할 필요가 없는 경로를 차단합니다. 불필요한 요청을 출발점부터 줄일 수 있습니다.
- 중복 또는 유사 중복 페이지에 canonical을 설정합니다. 크롤러가 모든 정렬 변형을 방문하지 않고 표준 URL에 예산을 집중하도록 유도할 수 있습니다.
- 301 리디렉션 체인을 정리하고 내부의 죽은 링크가 404로 이어지지 않게 수정합니다. 불필요한 리디렉션을 한 번 따라갈 때마다 실제 페이지를 크롤링할 기회가 한 번 줄어듭니다.
- 색인 가능한 URL만 포함한 깔끔한 XML 사이트맵을 유지합니다. lastmod에는 실제 업데이트 시각을 정확히 반영해 크롤러가 재방문할 페이지를 판단할 수 있게 합니다.
- 내부 링크로 중요도와 크롤 경로를 핵심 페이지에 집중시킵니다. 대부분의 AI 크롤러는 JavaScript를 실행하지 않으므로 메뉴와 관련 콘텐츠에는 프런트엔드 동적 생성에 의존하지 않는 실제 HTML 링크를 사용해야 합니다.
- 첫 바이트 도달 시간(TTFB)과 페이지 용량을 줄입니다. 응답이 빠를수록 크롤러가 같은 예산으로 더 많은 페이지를 방문할 수 있습니다.
AI 크롤러에는 ‘답변형’ 페이지부터 제공하세요
절약한 예산은 올바른 페이지에 투입해야 합니다. GEO에서 우선순위를 높이고 자주 크롤링되게 해야 할 페이지는 질문에 직접 답하고, 구조가 명확하며, 내용을 깔끔하게 추출할 수 있는 페이지입니다. 정의가 분명한 용어 페이지, 구체적인 수치가 담긴 비교 콘텐츠, 단계별 튜토리얼, FAQ를 포함한 제품 페이지가 대표적입니다. AI 엔진이 답변을 생성할 때 인용할 가능성이 가장 높은 출처입니다. 이러한 페이지를 사이트맵 앞부분에 배치하고 여러 내부 링크로 연결하며 최신 상태로 유지하면 크롤러에 명확한 신호를 줄 수 있습니다. 자주 방문할 가치가 있는 페이지라는 신호입니다. 반대로 감사 페이지, 로그인 페이지, 무한 스크롤 방식의 태그 모음 페이지는 크롤 대상에서 제외해야 합니다.
크롤 예산 최적화의 목적은 크롤 횟수를 무작정 늘리는 것이 아닙니다. 크롤러가 방문할 때마다 AI에 인용되길 바라는 페이지에 도달하게 만드는 것입니다.— Tenten GEO Consulting Team
한 번 최적화했다고 끝나는 작업은 아닙니다. 사이트에는 새로운 매개변수가 생기고, 마케팅팀은 새 이벤트 페이지를 만들며, 개편 과정에서는 새로운 리디렉션 링크가 추가됩니다. 크롤 예산의 누수 지점은 계속 생기므로 서버 로그 분석을 분기별 정기 업무에 포함해야 합니다. 크롤러의 유효 페이지 방문 비율과 핵심 페이지의 재크롤링 주기를 꾸준히 확인하세요. 현재 AI 크롤러가 웹사이트의 어디에서 시간을 쓰고 있는지, 인용돼야 할 페이지 중 전혀 크롤링되지 않는 곳이 어디인지 확실하지 않다면 30분 GEO 진단을 예약하세요. 서버 로그를 바탕으로 예산이 새는 지점을 짚어드립니다.
