Perplexity에 인용되기 위한 전제는 두 가지뿐입니다. 크롤러가 페이지를 수집할 수 있어야 하고, 페이지의 내용을 이해할 수 있어야 합니다. 하지만 많은 사이트가 첫 단계에서 막힙니다. 와일드카드가 포함된 robots.txt 규칙 한 줄, CDN의 기본 보안 설정, 허용되지 않은 사용자 에이전트만으로도 Perplexity 답변에서 완전히 사라질 수 있습니다. PerplexityBot 허용은 인용을 보장하는 조건이 아니라 최소 진입 요건입니다. 이 단계가 해결되지 않으면 이후의 GEO 작업도 의미가 없습니다.
먼저 Perplexity가 서로 다른 방식으로 작동하는 두 종류의 크롤러를 보낸다는 점부터 이해해야 합니다.
Perplexity 크롤러가 하나뿐이라고 생각해 특정 이름 하나만 차단하거나 허용하는 경우가 많습니다. 그러나 이렇게 설정하면 의도와 전혀 다른 결과가 나올 수 있습니다. Perplexity 공식 문서에는 두 에이전트가 나옵니다. PerplexityBot은 검색 색인을 구축하고 페이지가 검색 결과의 후보가 될 수 있는지 판단하며 robots.txt를 준수합니다. 반면 Perplexity-User는 사용자가 질문할 때 특정 URL을 즉시 가져오기 위해 실행됩니다. 사용자의 직접적인 요청에 응답하는 방식이므로 일반적으로 robots.txt의 적용을 받지 않습니다. 이 차이는 중요합니다. robots.txt로 색인 생성을 차단할 수는 있지만 실시간 크롤링까지 막지는 못할 수 있기 때문입니다.
- PerplexityBot: Perplexity의 검색 색인을 구축하고 갱신합니다. 페이지를 출처 후보로 등록할 수 있는지 판단하며 robots.txt 규칙을 준수합니다.
- Perplexity-User: 사용자가 질문하면 특정 페이지에 실시간으로 접속합니다. 사용자 요청에 따른 작업이므로 일반적으로 robots.txt 차단 규칙이 적용되지 않습니다.
- 진위 확인: 두 크롤러 모두 사칭될 수 있습니다. 사용자 에이전트 문자열만 보지 말고 Perplexity가 공개한 IP 대역이나 역방향 DNS를 확인해 perplexity.ai로 해석되는지 검증해야 합니다.
- 흔한 오해: robots.txt에서 허용했다고 반드시 크롤링되거나 인용되는 것은 아닙니다. 출처 후보군에 들어갈 자격을 갖추는 것뿐입니다.
robots.txt: 설정 한 줄로 크롤링이 막히는 가장 흔한 지점
고객사의 GEO를 진단할 때 가장 먼저 발견되는 치명적인 문제는 대개 robots.txt입니다. User-agent: *와 Disallow: /를 함께 설정해 사이트 전체를 차단한 뒤 공개 시점에 해제하지 않은 사례가 있고, /blog/나 /resources/ 같은 핵심 콘텐츠 디렉터리를 막아 둔 경우도 있습니다. 더 찾기 어려운 문제는 Cloudflare나 Vercel 같은 플랫폼의 봇 관리 또는 방화벽 규칙입니다. robots.txt를 수정하지 않았더라도 엣지 계층에서 PerplexityBot에 곧바로 403을 반환할 수 있습니다. 별도의 오류 알림도 없이 Perplexity 답변에서 브랜드 노출이 사라지는 유형의 문제입니다. 최소한의 올바른 설정은 간단합니다. 루트 디렉터리의 robots.txt에서 PerplexityBot을 명시적으로 허용하고 사이트맵 위치를 지정하면 됩니다.
- 명시적으로 허용하기: User-agent: PerplexityBot 항목을 만들고 그 아래에 Allow: /를 작성해 User-agent: *의 차단 규칙에 영향을 받지 않도록 합니다.
- 사이트맵 지정하기: 파일 끝에 Sitemap: https://yourdomain/sitemap.xml을 추가해 크롤러가 전체 URL 목록을 한 번에 확인할 수 있게 합니다.
- CDN과 WAF 점검하기: Cloudflare, Vercel, AWS WAF가 알려진 AI 크롤러를 엣지 계층에서 일괄 차단하지 않는지 확인합니다.
- noindex와 인용을 동시에 기대하지 않기: 페이지의 robots 메타 태그에 noindex가 있으면 검색엔진과 Perplexity 모두에 해당 페이지를 색인하지 말라고 알리는 것과 같습니다.
- 로그로 검증하기: 서버 액세스 로그에서 PerplexityBot을 검색해 실제 방문 기록이 있는지, 응답 코드가 403이나 429가 아닌 200인지 확인합니다.
llms.txt: 10분이면 만들 수 있지만 검색엔진의 공식 진입점은 아닙니다
llms.txt는 Answer.AI의 Jeremy Howard가 2024년에 제안한 방식입니다. 웹사이트 루트 디렉터리에 Markdown 형식의 /llms.txt 파일을 두고, 가장 중요한 페이지와 설명을 간결한 구조로 정리해 대규모 언어 모델이 사이트의 핵심을 빠르게 파악하도록 돕는다는 구상입니다. 취지는 좋지만 2024년 9월 7일 현재 Perplexity와 Google을 포함한 주요 검색엔진 중 llms.txt를 실제로 사용한다고 공개한 곳은 없습니다. Google의 John Mueller도 검색엔진이 이를 크롤링이나 순위 결정의 근거로 사용하지 않는다고 공개적으로 밝혔습니다. 그래도 만들어야 할까요? 권장하되 역할은 정확히 이해해야 합니다. 제작 비용이 매우 낮고 파일 하나에 필러 콘텐츠, 제품 설명, 연락처 정보를 정리할 수 있습니다. 이를 읽는 에이전트나 향후 지원할 가능성이 있는 엔진에는 깔끔한 추가 진입점이 됩니다. 더 실용적인 가치는 llms.txt를 작성하면서 어떤 페이지가 핵심인지 명확히 정리하게 된다는 데 있습니다. 이 과정 자체가 GEO에 도움이 됩니다. 다만 예산과 기대를 모두 여기에 걸어서는 안 됩니다. Perplexity가 실제로 사이트를 크롤링할 수 있는지는 결국 robots.txt와 깔끔한 HTML이 좌우합니다.
크롤링 허용은 입장권일 뿐, 핵심은 Perplexity가 출처로 선택하게 만드는 것입니다
Perplexity는 질문에 답할 때 대개 소수의 출처만 인용합니다. 질문에 직접 답하면서도 깔끔하게 추출할 수 있는 문단을 선호합니다. 정작 답이 여덟 번째 문단에 묻혀 있고 그 앞을 ‘AI의 부상과 함께’ 같은 서론이 길게 채우거나, 한 문단에서 세 가지 주제를 동시에 다루면 인용할 구간을 분리하기 어렵습니다. 결론을 먼저 제시하고, 한 문단에서는 하나의 주제만 다루며, 제목 자체가 질문의 답이 되게 해야 합니다. 이는 단순한 최신 글쓰기 유행이 아니라 출처 선정 여부에 직접 영향을 미치는 원칙입니다.
- 답을 먼저 제시하기: 각 섹션의 첫 문장에서 결론을 밝히고, 이유와 실행 방법은 그 뒤에 설명합니다.
- 질문을 제목으로 만들기: 사용자가 실제로 검색하거나 물어볼 문장을 H2와 H3에 사용해 엔진이 검색어와 콘텐츠를 연결하기 쉽게 합니다.
- 문단을 독립적으로 구성하기: 한 문단에는 하나의 핵심만 담고, 앞 문단을 읽지 않아도 의미가 통하도록 작성해 문단 단위로 인용할 수 있게 합니다.
- 구조화 데이터 적용하기: 아티클에는 Article을 연결하고, Q&A 영역에는 FAQPage 스키마를 사용해 엔진이 콘텐츠 유형과 문답 구조를 확인하도록 돕습니다.
- 수치와 맥락 제시하기: 형용사로 표현한 주장보다 검증 가능한 사실이 인용되기 쉽습니다.
최신성: Perplexity는 ‘최근 업데이트’를 중요하게 봅니다
Perplexity는 최신 정보와 시의성이 높은 주제에 답하는 도구를 지향하며 최근 콘텐츠를 선호합니다. 여기에는 두 가지 의미가 있습니다. 첫째, 페이지에 정확한 dateModified를 제공해야 합니다. 지난해 수정한 글이 3년 전 상태로 보이지 않게 해야 합니다. 둘째, 핵심 페이지는 실제로 꾸준히 업데이트해야 합니다. 날짜만 바꿔 엔진을 속이는 대신 새로운 수치와 실행 사례를 추가해야 합니다. 고객사의 콘텐츠 엔진을 운영할 때도 가치가 높은 페이지를 정기적으로 검토해 최신 실행 경험을 보완합니다. 이런 관리가 Perplexity의 출처 선정에 실질적인 차이를 만듭니다.
Perplexity 인용 가능성의 90%는 기술 요건에서 결정됩니다. 크롤링할 수 있고, 읽기 쉬우며, 충분히 최신이어야 합니다. 아무리 좋은 콘텐츠라도 크롤러가 접근하지 못하면 인용될 기회는 없습니다.— Tenten GEO Consulting Team
공개 전 30분 자체 점검
- 브라우저에서 ‘내 도메인/robots.txt’를 열고 Disallow: /로 사이트 전체를 실수로 차단하지 않았는지, PerplexityBot을 명확히 허용했는지 확인합니다.
- 서버 로그에서 PerplexityBot을 검색해 최근 방문 기록과 200 응답을 확인합니다.
- CDN과 WAF의 봇 규칙을 살펴보고 AI 크롤러가 엣지 계층에서 차단되지 않는지 확인합니다.
- 핵심 아티클 3개를 임의로 골라 첫 문단에 결론이 먼저 나오는지, 제목이 실제 질문과 맞는지 점검합니다.
- 사이트맵에 정상적으로 접근할 수 있는지, dateModified가 정확한지 확인하고 llms.txt를 콘텐츠 맵으로 배치합니다.
이 목록의 대부분은 반나절이면 수정할 수 있습니다. 어려운 점은 무엇을 놓쳤는지 알아내는 일입니다. 특히 CDN 규칙이나 플랫폼의 기본 차단 설정에 숨어 있는 문제는 직접 확인하지 않으면 드러나지 않습니다. 현재 Perplexity가 사이트를 정상적으로 크롤링할 수 있는지, 어떤 문제 때문에 인용 기회를 놓치고 있는지 확인하려면 /contact에서 30분 GEO 진단을 예약할 수 있습니다. 웹사이트의 robots 설정과 로그, 콘텐츠 구조를 직접 살펴보고 보완할 항목을 하나씩 정리해 드립니다.
