결론부터 말씀드리면 Google-Extended를 차단해도 웹사이트가 AI Overviews에서 사라지지는 않습니다. 두 기능을 같은 것으로 오해해 AI 요약의 인용 여부를 제어하려고 robots.txt에서 Google-Extended를 차단하는 경우가 있습니다. 하지만 설정 후에도 요약은 계속 노출되고, 달라지는 것은 콘텐츠가 Gemini 학습 대상에서 제외된다는 점뿐입니다. Google-Extended는 생성형 모델의 학습에 콘텐츠를 사용할 수 있는지를 제어합니다. AI Overviews의 인용 여부는 전혀 다른 파이프라인에서 결정됩니다.
Google-Extended란 정확히 무엇인가?
Google-Extended는 Google이 2023년 구월에 도입한 독립적인 제어 항목입니다. robots.txt에 규칙을 작성하면 Google이 해당 웹페이지를 Gemini 계열 모델과 Vertex AI 생성형 API의 학습 및 개선에 활용할 수 있는지 결정할 수 있습니다. 여기서 놓치기 쉬운 점이 있습니다. Google-Extended는 크롤러가 아니며, 직접 웹사이트를 탐색하지도 않습니다. 실제 크롤링은 여전히 Googlebot이 담당하고, Google-Extended는 수집된 콘텐츠를 생성형 AI에 활용할 수 있는지만 정하는 스위치입니다.
따라서 Google 검색의 색인 생성이나 순위에는 영향을 주지 않습니다. Google-Extended를 차단해도 Googlebot은 웹페이지를 계속 크롤링하고 검색 색인에 등록하며, 검색 순위도 하락하지 않습니다. Google 역시 Google-Extended 차단은 Google 검색 내 게재 위치를 바꾸지 않는다고 명확히 밝히고 있습니다. 설정 후에도 ‘아무 일도 일어나지 않은 것 같다’고 느끼는 이유는 실제로 검색 측면에서는 달라지는 것이 없기 때문입니다.
Google-Extended를 차단해도 AI Overviews에 영향이 없는 이유
AI Overviews와 AI Mode는 모두 Google 검색 기능입니다. 이 기능이 참조하는 출처는 Google-Extended가 아니라 Googlebot이 구축한 검색 색인에서 가져옵니다. AI Overviews에 인용될 가능성을 좌우하는 것은 결국 자연 검색에서의 가시성입니다. 페이지가 크롤링되고 색인에 포함되는지, 콘텐츠 구조가 기계가 요약에 바로 활용할 답변을 추출하기 쉽게 구성되어 있는지가 중요합니다. Google-Extended 설정으로는 이 검색 파이프라인을 제어할 수 없습니다.
Google-Extended 설정 방법(robots.txt 적용)
robots.txt는 웹사이트 루트 디렉터리에 배치합니다. 콘텐츠가 Gemini 학습에 전혀 활용되지 않게 하려면 해당 토큰에 Disallow를 설정합니다. 허용하려면 Allow를 작성하거나 규칙 자체를 생략하면 됩니다. 기본값이 허용이기 때문입니다. 회원 전용 영역이나 특정 디렉터리만 차단하는 등 경로 단위로 제어하고 나머지는 공개할 수도 있습니다. 이 규칙은 Googlebot 규칙과 서로 독립적으로 작동하므로 학습 활용은 차단하면서 검색 크롤링은 그대로 허용할 수 있습니다.
- 학습 활용 전체 차단: User-agent: Google-Extended 다음에 Disallow: /를 작성합니다.
- 전체 허용(기본값): 별도 규칙을 작성하지 않거나 User-agent: Google-Extended 다음에 Allow: /를 작성합니다.
- 특정 디렉터리만 차단: User-agent: Google-Extended 다음에 Disallow: /members/를 작성하고 나머지 경로는 공개 상태로 둡니다.
- 변경 후에는 Google Search Console의 robots.txt 테스트를 이용하거나 브라우저에서 yourdomain.com/robots.txt를 직접 열어 적용 여부를 확인합니다.
Google-Extended를 차단해야 할까? 세 가지 판단 기준
차단 여부는 콘텐츠가 보호해야 할 자산인지, 더 많은 사람과 모델에 노출하려는 마케팅 자료인지에 따라 달라집니다. 다음 세 가지 상황에 대입하면 방향을 빠르게 판단할 수 있습니다.
- 콘텐츠 자체가 수익화 가능한 자산인 경우(독자 연구, 유료 지식, 독점 보고서): 모델 학습에 콘텐츠를 무료로 제공하지 않도록 학습 목적의 활용은 차단하는 편이 적합합니다. 검색과 AI Overviews에서 인용될 기회는 그대로 유지할 수 있습니다.
- B2B SaaS의 목표가 AI 답변에서 브랜드를 언급하게 만드는 것이라면: 일반적으로 차단할 필요가 없습니다. 콘텐츠가 폭넓게 학습되도록 허용하면 AI 어시스턴트가 브랜드를 적극적으로 추천할 가능성을 높일 수 있습니다.
- 라이선스, 법률 준수 또는 민감한 콘텐츠가 우려된다면: 사이트 전체를 일괄 차단하지 말고 특정 디렉터리만 차단합니다. 공개 마케팅 콘텐츠는 학습 대상에 남겨둘 수 있습니다.
학습용 크롤러와 검색·검색증강용 크롤러를 혼동하지 마세요
GEO에서 가장 흔하면서도 큰 손실을 부르는 실수 중 하나입니다. AI 생태계의 크롤러는 크게 두 유형으로 나뉩니다. 학습용은 콘텐츠를 모델 학습에 제공하고, 검색·검색증강용은 사용자가 질문할 때 실시간으로 콘텐츠를 탐색해 답변과 출처를 구성합니다. Google-Extended, GPTBot, Applebot-Extended, ClaudeBot은 전자에 속하고 OAI-SearchBot, PerplexityBot, Googlebot은 후자에 해당합니다. 콘텐츠를 보호하겠다며 두 유형을 함께 차단하는 경우가 있습니다. 그 결과 모델의 학습량은 기대만큼 줄이지 못하면서 정작 자사 콘텐츠는 AI의 출처 목록에서 사라질 수 있습니다.
- GPTBot(OpenAI 학습): 차단하면 콘텐츠가 ChatGPT 학습에 활용되지 않지만, ChatGPT가 검색을 통해 해당 콘텐츠를 찾는 데에는 영향을 주지 않습니다.
- OAI-SearchBot(OpenAI 검색): 차단하면 ChatGPT 검색이 콘텐츠를 가져오지 못하며 출처로도 표시하지 않습니다.
- PerplexityBot(Perplexity 검색): 차단하면 Perplexity 답변에 콘텐츠가 포함되지 않습니다.
- Google-Extended(Google 학습): 차단하면 콘텐츠가 Gemini 학습에서 제외되지만 AI Overviews에서는 계속 인용될 수 있습니다.
- Googlebot: 검색 유입의 생명선입니다. 차단하면 Google 검색과 AI Overviews에서 동시에 제외됩니다. 거의 어떤 경우에도 건드리지 않는 것이 좋습니다.
AI Overviews의 노출 방식을 바꾸고 싶다면 어떻게 해야 할까?
현재 Google은 ‘일반 검색 스니펫은 유지하면서 AI Overviews에서만 제외’하는 전용 설정을 제공하지 않습니다. 사용할 수 있는 것은 검색 단계의 콘텐츠 표시 제어입니다. nosnippet은 요약을 아예 표시하지 않고, max-snippet은 요약 길이를 제한하며, data-nosnippet은 페이지의 특정 영역이 요약에 사용되지 않도록 지정합니다. 다만 이 설정들은 일반 검색의 스니펫에도 영향을 주기 때문에 대부분의 경우 비용 대비 효과가 낮습니다. AI Overviews에서 빠질 방법을 찾기보다 깔끔하게 인용될 수 있는 콘텐츠를 만드는 편이 현실적입니다. 질문은 명확하게, 답변은 직접적으로 작성하고, 각 문단은 독립적으로 추출해도 의미가 통하도록 구성해야 합니다. 그래야 AI가 콘텐츠를 인용하기 쉽고, 인용 내용도 정확해집니다.
처음 질문으로 돌아가겠습니다. Google-Extended를 차단해도 AI Overviews의 인용은 막을 수 없습니다. 애초에 서로 다른 파이프라인이기 때문입니다. 실제로 점검해야 할 것은 검색 크롤러까지 모르고 차단해 자사 콘텐츠를 AI 인용 후보에서 제외하고 있지는 않은지입니다. 현재 웹사이트의 robots.txt에서 어떤 AI 크롤러를 허용하고 차단했는지 확실하지 않다면 Tenten GEO의 30분 GEO 진단을 예약해 보세요. 학습용과 검색·검색증강용 설정을 한 번에 검토하고 무엇을 허용하거나 차단해야 하는지 확인해 드립니다.
