웹사이트에 양질의 콘텐츠가 수십 개 있어도 AI 엔진이 읽는 것은 일부에 불과할 수 있습니다. 가리키는 내부 링크가 하나도 없는 고아 페이지와 클릭 깊이가 지나치게 깊은 페이지는 GPTBot, ClaudeBot, PerplexityBot 같은 크롤러가 건너뛰기 가장 쉽습니다. 이들은 Googlebot보다 크롤링 예산이 빠듯하고 재방문 간격이 길며, 사이트 깊숙한 곳까지 탐색하지 않습니다. 아무리 좋은 콘텐츠라도 크롤링되지 않으면 인용될 수 없습니다.
고아 페이지와 클릭 깊이란 무엇인가요?
고아 페이지는 웹사이트 내부의 어떤 링크를 통해서도 도달할 수 없는 페이지입니다. 사이트맵이나 데이터베이스, 서버에는 존재하고 URL을 직접 입력하면 열리지만, 홈페이지에서 아무리 링크를 따라가도 찾을 수 없습니다. 크롤러는 주로 링크를 따라 페이지를 발견합니다. 연결 경로가 없다면 방문할 이유도 없습니다.
클릭 깊이는 이와 관련되어 있지만 다른 개념입니다. 홈페이지에서 특정 페이지에 도달하기까지 최소 몇 번을 클릭해야 하는지를 뜻합니다. 홈페이지가 0단계, 홈페이지에서 바로 연결된 페이지가 1단계이며 이후 같은 방식으로 깊어집니다. 클릭 깊이가 3~4단계를 넘으면 크롤링 빈도가 크게 낮아집니다. 크롤러가 제한된 자원을 인바운드 링크가 많고 얕은 위치에 있는 페이지부터 배분하기 때문입니다.
AI 크롤러가 두 문제에 더 엄격한 이유
전통적인 SEO에서도 고아 페이지는 중요합니다. 다만 Googlebot은 대규모 인프라를 기반으로 웹사이트의 깊은 영역까지 크롤링하며, 외부 링크와 브라우저 데이터 등 다양한 신호를 활용해 추가 발견 경로도 확보합니다. 현재 대부분의 AI 크롤러는 이와 다르게 작동합니다.
- 크롤링 예산이 더 보수적입니다. 대부분의 LLM 크롤러는 한 번 방문할 때 제한된 수의 페이지만 수집하므로 깊은 페이지는 대기열에조차 오르지 못할 수 있습니다.
- 재방문 간격이 깁니다. Googlebot은 매일 돌아올 수 있지만 AI 크롤러가 같은 사이트를 다시 찾는 주기는 일주일, 길게는 한 달에 이를 수 있습니다. 한 번 놓치면 오래 기다려야 합니다.
- 외부 신호에 대한 의존도가 낮습니다. 주로 웹사이트의 내부 링크 구조를 따라 이동하므로 내부 경로가 없으면 이를 보완할 발견 수단도 거의 없습니다.
- 렌더링 기능이 제한적입니다. 많은 AI 크롤러는 JavaScript를 실행하지 않으므로 JS로 동적 생성되는 메뉴나 링크를 볼 수 없습니다. 해당 링크로만 연결된 페이지는 사실상 고아 페이지가 됩니다.
3단계로 진행하는 내부 링크 감사
첫 번째 단계는 웹사이트 전체를 크롤링하는 것입니다. Screaming Frog, Sitebulb 또는 링크 그래프를 만들 수 있는 크롤러로 홈페이지에서 출발하는 크롤러의 행동을 재현하고, 페이지별 내부 인바운드 링크 수와 클릭 깊이를 확인합니다. 특히 두 가지를 살펴보세요. 내부 인바운드 링크가 0인 페이지는 고아 페이지 후보이며, 클릭 깊이가 3을 넘는 페이지는 크롤링 위험 구간입니다.
두 번째 단계에서는 크롤링 결과와 사이트맵을 대조합니다. sitemap.xml의 전체 URL과 크롤러가 실제로 링크를 따라가며 발견한 URL을 각각 내보낸 뒤 두 목록의 차이를 확인합니다. 사이트맵에만 있고 크롤링 결과에는 없는 페이지는 거의 확실하게 고아 페이지입니다. 이 과정을 거치면 관리자 화면만 살펴봐서는 찾기 어려운 누락 페이지도 대거 발견할 수 있습니다.
세 번째 단계는 서버 로그를 확인하는 것입니다. GPTBot, ClaudeBot, PerplexityBot, Google-Extended 등의 사용자 에이전트 요청을 필터링해 실제로 수집한 URL을 비교합니다. AI 크롤러의 방문 기록이 얕은 페이지에 집중되고, 깊은 페이지나 고아 페이지의 크롤링 기록은 비어 있는 경우가 많습니다. 로그는 AI의 시야에 한 번도 들어오지 못한 콘텐츠가 무엇인지 그대로 보여줍니다.
문제를 찾았다면 어떻게 해결해야 할까요?
모든 페이지에 무작정 링크를 채우는 것이 해결책은 아닙니다. 중요한 페이지가 홈페이지와 더 가까워지고 관련 페이지에서 더 많이 인용되도록 합리적인 발견 경로를 다시 설계해야 합니다.
- 주제 허브(필러) 페이지를 구축합니다. 하나의 페이지에서 특정 주제를 개괄하고 각 하위 주제 페이지로 연결해, 흩어진 고아 페이지를 하나의 클러스터로 묶습니다.
- 본문에 맥락형 링크를 추가합니다. 기존 글의 내용과 자연스럽게 이어지는 관련 심층 페이지를 연결하세요. 의미 맥락이 담긴 링크는 AI가 주제 관련성을 판단하는 데 특히 유용합니다.
- 웹사이트 구조를 평탄화합니다. 중요한 페이지의 클릭 깊이를 3단계 이내로 관리하고, 필요하면 디렉터리 구조나 내비게이션 메뉴를 조정합니다.
- 내비게이션이 JavaScript로 생성되는지 확인합니다. JS를 실행하지 않는 크롤러도 읽을 수 있도록 일반 HTML 링크로 대체합니다.
- 실제로 가치가 없는 페이지는 삭제하거나 통합합니다. 모든 고아 페이지를 살릴 필요는 없습니다. 가치가 낮은 페이지는 합치고 링크 가중치가 유지해야 할 페이지에 집중되도록 합니다.
우선순위 설정도 중요합니다. AI에 인용되기를 바라지만 현재 고아 상태이거나 너무 깊이 묻힌 페이지부터 개선하세요. 제품 비교, 가격 안내, 심층 가이드가 대표적입니다. 사용자가 AI 어시스턴트에 자주 물을 만한 내용이자, 기업이 가장 인용되기를 바라는 콘텐츠이기도 합니다.
고객사 감사를 진행하다 보면 품질이 가장 뛰어난 심층 콘텐츠가 매우 깊은 디렉터리에서만 연결되어 어떤 AI 크롤러에도 수집된 적이 없는 경우를 자주 발견합니다. 이런 콘텐츠를 주제 허브에 연결하면 대개 1~2개월 안에 AI 답변에 나타나기 시작합니다.— Tenten GEO Audit Observation
내부 링크를 검색 인프라로 관리하세요
고아 페이지와 클릭 깊이는 추상적인 문제가 아닙니다. 측정하고 해결할 수 있는 엔지니어링 과제입니다. 사이트를 크롤링하고 사이트맵을 대조한 뒤 로그를 확인하면, 얼마나 많은 콘텐츠가 AI의 시야에 한 번도 들어오지 못했는지 알 수 있습니다. 웹사이트에서 AI가 놓친 페이지와 그 격차를 빠르게 파악하고 싶다면 30분 GEO 진단을 예약하세요. 실제 크롤링 및 로그 데이터를 바탕으로 어떤 콘텐츠가 누락되고 있는지 보여드립니다.
