분석 · 트렌드와 인사이트
AI 크롤링과 유입 비용: 측정 후 통제 선택
같은 기간과 필터에서 봇 목적, 실제 비용과 귀속 유입을 비교합니다. HTML 요청은 고유 페이지나 방문자가 아닙니다. 학습·검색·사용자 행동은 다르며 허용·차단 모두 결과를 보장하지 않습니다.
v1.1 · 2026년 10월 · Tenten GEO Research
CH.01
크롤링/유입 비율의 측정 대상
플랫폼 요청 비율은 배경이며 사이트 가치나 접근 정책을 결정하지 않습니다.
수집·링크 표시·사람 방문은 별개입니다. 실제 단위로 세며 반복 요청이나 인용에서 방문·구매를 단정하지 않습니다.
Cloudflare 2025-08-28 글의 비율은 고객 범위 내 플랫폼 관련 봇 HTML 요청을 해당 플랫폼이 유입시킨 사람 HTML 요청으로 나눕니다. 고유 페이지/고유 방문자, 한 봇의 인과 실험 또는 사이트 ROI가 아닙니다.
이 장의 핵심
비율은 배경입니다. 자체 비용과 유입 관찰에 범위를 명시해 판단하세요.
CH.02
동일 범위에서 비교
추세에는 동일 기간·단위·필터가 필요합니다. 기존 Q1/6월 값의 대응 원본은 미확인으로 2026 비교로 확정하지 않습니다.
| 비교 확인 | 기록 | 한계 | 근거 |
|---|---|---|---|
| 기간 | 정확한 날짜와 출처 | 게시일은 수집 기간이 아님 | 원본 snapshot/export |
| 플랫폼과 봇 | 제공자·확인 user-agent·선언 목적 | 플랫폼 유입을 한 학습 봇에 자동 귀속하지 않음 | 공식 문서와 식별 요청 로그 |
| 분자·분모 | 봇 HTML 요청/귀속된 사람 HTML 요청 | 고유 페이지·사람·인용 확률·수익이 아님 | 요청 정의와 귀속 범위 |
| 필터·범위 | 동일 사이트/업종·목적·포함 규칙 | 필터 변경과 누락 유입이 비율을 바꿈 | 설정과 범위 저장 |
네 근거 확인이며 업체 순위나 미검증 개선이 아닙니다.
Cloudflare 2025 글은 Training·Search·User action·Undeclared를 구분합니다. 알려진 목적이며 각 요청의 실제 후속 사용을 증명하지 않습니다. 기존 미검증 분포나 다른 기간의 개선율을 사용하지 않습니다.
이 장의 핵심
비교 전 출처와 설정을 저장하고 불일치 값은 미확인으로 남기세요.
CH.03
학습·검색·사용자 행동 접근
확인된 목적별 통제를 선택합니다. 검색 색인 수집은 질문 시점에만 일어나지 않고 사용자 행동은 별도 규칙입니다.
GPTBot은 학습, OAI-SearchBot은 검색, ChatGPT-User는 사용자 요청이며 자동 검색 봇이 아닙니다. 제공자 설명과 robots 예외가 다르며 인용·클릭·학습 포함·완전 제외를 보장하지 않습니다.
| 항목 | 학습 접근 | 검색/사용자 행동 |
|---|---|---|
| 예 | GPTBot·현행 공식 문서의 ClaudeBot | 검색 OAI-SearchBot·행동 ChatGPT-User |
| 목적 | 학습에 쓰일 수 있는 콘텐츠 수집 | 검색 접근 또는 사용자 요청, 별도 역할 |
| 링크와 유입 | 학습 수집만으로 유입을 입증하지 못함 | 발견을 지원해도 링크·방문은 보장하지 않음 |
| 통제와 한계 | 신원·robots 범위·실행 확인 | 검색 자격과 사용자 행동 예외 별도 확인 |
목적별 통제이며 두 봇의 유입 인과 실험이 아닙니다.
robots.txt는 User-agent 그룹별로 적용됩니다. GPTBot만 Disallow해도 OAI-SearchBot이 자동 차단되지 않습니다. 와일드카드·CDN·사용자 행동 예외는 별도 확인하며 robots는 인증이나 모든 클라이언트 준수 증거가 아닙니다.
이 장의 핵심
허용은 트래픽 보장, 단일 봇 제한은 전체 플랫폼 비가시성 증거가 아닙니다.
CH.04
비용과 사업 근거를 별도 측정
권리·개인정보·정책·운영 비용도 중요하며 보편적 B2B 비용/가치 결과는 없습니다.
자체 서버/CDN 로그와 청구로 요청·대역폭·연산 비용을 추정합니다. 공통 비용 배분과 식별 불확실성을 밝히며 전세계 비율로 자체 순손실을 단정하지 않습니다.
자체 정의로 귀속 방문과 사업 성과를 측정합니다. 인용·언급을 평균 계약액만으로 금액화하지 않으며 미관찰 영향과 누락 유입은 미확인입니다.
1단계
실제 접근 비용 기록
고정 기간·식별 요청으로 증분 비용을 추정하고 불확실성을 적습니다. 모든 B2B 비용이 미미하다고 가정하지 않습니다.
2단계
인용과 사업 성과 분리
고정 질문에 제품·모드·지역·언어·날짜·반복·분모를 기록합니다. 인용·언급·방문·귀속 성과를 분리합니다.
3단계
근거로 정책 검토
자료가 있을 때 실비와 귀속 가치를 권리·정책과 검토합니다. 미확인은 제한 시나리오로 다루고 보편 공식으로 만들지 않습니다.
이 장의 핵심
미확인 가치는 0이 아니며 인용은 귀속 판매가 아닙니다.
CH.05
네 가지 통제 검토
공개·선택 제한·유료 계약·광범위 제한의 조건은 다르며 보편적 B2B 승자는 없습니다.
| 경로 | 어떻게 | 누구에게 맞나 | 이 손익 |
|---|---|---|---|
| 공개 접근 | 선택한 공개 경로 유지 | 권리·정책이 허용하는 사이트 | 실비·성과 모니터링, 유입 보장 없음 |
| 선택적 제한 | 목적별 robots와 적절한 강제 통제 | 목적별 정책을 문서화한 사이트 | 신원·범위·준수 확인, 비용 절약 보장 없음 |
| 유료 접근/paywall | 가용한 지원 제품 또는 계약 | 실행 가능한 계약을 가진 권리자 | 가용성·상대·조건 확인, 수입 가정 없음 |
| 광범위 제한 | 와일드카드 또는 강제 범위 명시 | 권리·개인정보 정책상 필요한 사이트 | 발견 영향 검토, 전체 비가시성 증거 아님 |
기존 네 통제의 조건이며 수익 순위가 아닙니다.
영향 받는 요청은 신원과 실행에 따릅니다. 실제 그룹·제품 경로를 확인하고 한 줄 차이에서 유입 보장 또는 완전 소멸을 추론하지 않습니다.
이 장의 핵심
문서화하고 되돌릴 정책을 모니터링합니다. 유료 접근에는 실제 지원 계약이 필요하며 수입 보장은 없습니다.
CH.06
Tenten 정책 검토 목록
그대로 복사하는 robots가 아닌 작성자 목록입니다. 정책과 제공자 목적부터 확인합니다.
설정 1
목적별 규칙 확인
학습·검색·사용자 행동, robots 그룹·강제 통제·예외를 확인합니다. 이 글은 실제 정책을 변경하지 않습니다.
설정 2
유용한 공개 정보 유지
정확하고 읽기 쉬운 콘텐츠와 페이지에 맞는 schema를 사용합니다. llms.txt는 선택 사항이며 Google Search는 요구하지 않습니다. 인용 보장은 없습니다.
설정 3
비용과 관찰 검토
Tenten은 고정 조건·요청 비용·별도 유입/사업 측정의 정기 검토를 권합니다. 미확인·해당 없음을 남기고 다섯 초록 신호를 성공으로 보지 않습니다.
| 점검 항목 | 있어야 할 상태 |
|---|---|
| robots.txt가 칼 한 번에 전부 차단인가 | 정확한 그룹·와일드카드·강제 통제 기록 |
| OAI-SearchBot / PerplexityBot | 정책에 따라 검색 접근 선택, 유입 보장 없음 |
| GPTBot 학습 / CCBot | 권리·정책·근거로 학습 선택, 자동 차단 아님 |
| 인용률 추적 | 고정 제품·모드·지역·날짜·반복·분모 |
| 크롤 비용 vs 인용 가치 | 실비·귀속 성과와 누락·불확실성 |
다섯 검토 항목, 미확인·해당 없음은 자동 실패 아님.
마지막 한마디
목적·권리·실비·관찰로 결정합니다. 불확실성을 남기며 일반 비율이나 설정이 사업 가치를 보장하지 않습니다.
자료 출처와 연구 방법
타이베이 2026-10-05 실질 수정. Cloudflare 2025-08-28 요청 비율 정의와 목적 분류를 사용합니다. 미확인 2026Q1/6월 비율·5월 비율은 퇴역하며 거짓이라고 단정하지 않습니다. 봇은 공식 문서, 비용·측정·통제는 Tenten 권고로 고객 성과나 입증 ROI가 아닙니다. https://blog.cloudflare.com/ai-crawler-traffic-by-purpose-and-industry/ https://developers.openai.com/api/docs/bots https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler https://developers.google.com/search/docs/fundamentals/ai-optimization-guide https://www.rfc-editor.org/rfc/rfc9309
© 2026 Tenten GEO · 본 백서 내용 인용을 환영합니다. 출처를 밝혀 주세요.
AI 검색의 우선 과제 상담하기
30분 벤치마크 해석 요청하기예약 요청을 보내시면 24시간 안에 이메일로 시간을 확인합니다.