결론부터 말하면, llms.txt를 만든다고 브랜드가 ChatGPT에 자동으로 인용되지는 않습니다. llms.txt는 웹사이트 루트 디렉터리에 두는 Markdown 형식의 콘텐츠 지도입니다. 추론 단계에서 AI Agent나 실시간 검색 도구가 웹페이지의 내비게이션, 광고, JavaScript를 거치지 않고 정돈된 콘텐츠를 바로 읽도록 돕습니다. 제대로 구현하면 AI의 파싱 비용을 줄일 수 있지만, 잘못 만들면 아무도 읽지 않는 파일 하나만 남습니다. 이 글에서 문법 사양과 배치 위치, 크롤러의 읽기 원리, 현재의 현실적인 한계까지 한 번에 설명합니다.
llms.txt란 무엇이며 robots.txt와 어떻게 다른가
llms.txt는 Answer.AI의 Jeremy Howard가 2024년 9월 제안한 사양입니다. 파일명은 llms.txt로 고정되며 도메인 루트 디렉터리에 순수 Markdown 형식으로 배치합니다. 역할은 콘텐츠를 ‘선별’하는 것입니다. 사이트 전체에서 AI가 우선 읽어야 할 페이지를 간결한 목록으로 정리하고, 각 항목에 링크와 설명을 붙입니다. 설정 파일이 아니며 접근 권한을 제어하지도 않습니다. 이후의 모든 구현은 이 전제를 이해하는 데서 출발합니다.
제대로 작성한 llms.txt는 어떤 모습인가
형식에 관한 사양은 매우 간단하지만 작성 순서는 중요합니다. 파일 전체를 표준 Markdown으로 작성하므로 어떤 언어 모델이든 별도의 변환 부담 없이 파싱할 수 있습니다. 위에서 아래로 다음 구조를 따릅니다.
- H1 제목에 웹사이트나 프로젝트 이름을 적습니다. 사양에서 유일하게 요구하는 필수 항목입니다.
- 바로 다음에 블록 인용문(>로 시작)을 두고, 이 웹사이트가 무엇을 하는지 한두 문장으로 설명합니다. AI가 전체 파일을 탐색할 때 가장 먼저 읽는 요약입니다.
- 필요하면 일반 텍스트 문단을 몇 개 추가해 배경이나 이용 방법을 설명할 수 있습니다. 단, 파일 전체에 두 번째 H1을 넣어서는 안 됩니다.
- 여러 개의 H2 섹션을 만들고 각 H2 아래에 Markdown 링크 목록을 배치합니다. 형식은 [페이지 이름] (웹사이트): 한 문장 설명입니다. H2는 ‘서비스’, ‘문서’, ‘리소스’처럼 콘텐츠를 분류하는 데 사용합니다.
- ## Optional 섹션은 생략할 수 있습니다. 여기에 넣은 링크는 우선순위가 낮은 콘텐츠로 간주되며, AI의 컨텍스트 길이가 부족하면 전체를 건너뛸 수 있습니다.
어디에 배치하고 어떤 형식으로 제공해야 하는가
배치 위치에는 예외가 없습니다. 파일은 반드시 도메인 루트 디렉터리에 두어야 하며 URL은 https://yourdomain/llms.txt입니다. 하위 디렉터리나 서브도메인에 넣으면 AI가 찾지 못합니다. 인코딩은 UTF-8을 사용하고, 서버가 반환하는 Content-Type은 text/plain 또는 text/markdown으로 설정하는 것이 좋습니다. 브라우저에서 파일이 다운로드되지 않도록 해야 합니다. 함께 적용할 만한 관례도 두 가지 있습니다. 첫 번째는 선택 사항인 llms-full.txt입니다. 사이트 전체 콘텐츠를 하나의 대용량 파일에 담아 AI가 한 번에 읽도록 할 수 있지만, 파일이 크고 업데이트도 어려워 중소 규모 웹사이트에서는 대개 우선순위에서 제외합니다. 두 번째는 .md 미러 페이지입니다. 기존 URL 뒤에 .md를 붙여(예: /pricing에 대응하는 /pricing.md) 순수 Markdown 버전을 제공하는 방식입니다. 그러면 llms.txt에서 레이아웃 태그가 가득한 HTML 대신 정돈된 콘텐츠로 직접 연결할 수 있습니다. Tenten GEO의 /pricing.md도 이 방식으로 기계가 읽을 수 있는 가격 정보를 제공합니다.
AI 크롤러는 llms.txt를 어떻게 읽는가
흔히 혼동하는 두 가지 상황부터 구분해야 합니다. AI가 웹사이트 콘텐츠를 접하는 시점은 두 번입니다. 첫 번째는 학습 단계입니다. GPTBot, ClaudeBot, Google-Extended 같은 크롤러가 웹페이지를 대규모로 수집해 모델 학습에 활용합니다. 두 번째는 추론 단계입니다. 사용자가 질문한 뒤 AI가 최신 정보를 확인해야 할 때 PerplexityBot, ChatGPT의 브라우징 기능 또는 다양한 AI Agent가 현장에서 콘텐츠를 수집합니다. llms.txt는 주로 두 번째 단계에서 작동합니다. 이를 지원하는 도구는 먼저 루트 디렉터리의 llms.txt를 가져와 탐색 지도로 활용합니다. 이어서 어떤 링크를 열어 읽을지 판단하고 해당 Markdown을 가져옵니다. 이 방식은 ‘페이지 전체 HTML을 내려받고 내비게이션과 스크립트를 제거한 다음 어느 문단이 본문인지 추측하는’ 비용을 줄여 줍니다.
다만 분명히 알아둘 점이 있습니다. 현재 OpenAI, Anthropic, Perplexity, Google 가운데 llms.txt를 학습이나 순위 산정의 공식 신호로 사용하겠다고 공개적으로 약속한 곳은 없으며, Google은 특히 신중한 태도를 보입니다. 현 단계에서 llms.txt를 적극적으로 읽는 주체는 일부 코드 어시스턴트와 파일 검색 도구, 직접 구축한 RAG 또는 Agent 프로세스 등 개발자 도구와 Agent 프레임워크가 대부분입니다. 따라서 llms.txt를 ‘AI용 SEO 순위를 켜는 스위치’로 내세우기보다 ‘Agent와 자체 구축 검색을 위한 길을 마련하는 수단’으로 설명하는 편이 훨씬 정직합니다.
배포 후 검증 방법과 자주 발생하는 여섯 가지 실수
- 위치를 잘못 지정합니다. /docs/llms.txt나 서브도메인에 넣으면 AI가 파일을 전혀 찾지 못합니다. 인식하는 위치는 도메인 루트 디렉터리뿐입니다.
- robots.txt처럼 사용합니다. 크롤러를 차단하려고 llms.txt에 Disallow를 적어도 형식 자체가 맞지 않아 아무 효과가 없습니다. 접근 제어는 robots.txt에서 설정해야 합니다.
- 링크가 정리되지 않은 HTML을 가리킵니다. 팝업과 사이드바가 가득한 페이지로 연결하면 파싱 비용을 줄일 수 없습니다. 가능하면 .md 버전을 함께 제공해야 합니다.
- 한꺼번에 너무 많은 링크를 넣습니다. 사이트 전체에서 URL 수백 개를 쏟아 넣으면 핵심이 흐려집니다. llms.txt는 sitemap이 아니라 선별 목록입니다. 가장 인용되기를 원하는 페이지만 고르면 됩니다.
- 설명을 마케팅 문구로 작성합니다. 각 링크 뒤에는 AI가 해당 페이지를 열어야 할지 판단할 수 있는 사실 중심의 한 문장을 써야 합니다. 광고 문구를 넣어서는 안 됩니다.
- 한 번 만든 뒤 방치합니다. 페이지 개편, 가격 변경, 페이지 폐쇄 후 llms.txt를 함께 업데이트하지 않으면 AI가 만료된 정보를 읽게 되어 평가에 불리해질 수 있습니다.
검증 방법은 어렵지 않습니다. 먼저 브라우저에서 https://yourdomain/llms.txt를 직접 열어 응답이 일반 텍스트인지, 404가 발생하지 않는지, 파일로 다운로드되지 않는지 확인합니다. 다음으로 전체 내용을 ChatGPT나 Claude에 붙여 넣고 “이 llms.txt를 바탕으로 웹사이트가 제공하는 서비스를 설명해 줘”라고 요청합니다. 내용을 정확히 재구성한다면 구조가 명확하고 AI가 이해할 수 있다는 뜻입니다. 마지막으로 robots.txt에서 허용하려는 AI user-agent가 차단되어 있지 않은지 확인합니다. 가장 자주 빠뜨리는 절차이지만, 놓치면 앞선 작업이 모두 무용지물이 됩니다.
llms.txt는 도입해야 하는가, 언제 구현해야 하는가
솔직히 말하면 llms.txt는 비용과 위험이 모두 낮아 구현할 가치가 있습니다. 다만 이것만으로 인용이 늘어날 것이라고 기대해서는 안 됩니다. llms.txt는 전체 AI 브랜드 노출 프로젝트에서 가장 바깥쪽에 있는, 가장 저렴한 구성 요소입니다. AI 인용 여부를 실제로 좌우하는 것은 콘텐츠 자체를 깔끔하게 크롤링할 수 있는지, AI가 브랜드 엔터티를 충분히 신뢰하는지, 핵심 문단을 곧바로 추출할 수 있는지입니다. llms.txt는 이런 콘텐츠가 이동할 길을 깔아 줄 뿐입니다. 그 길 위에 실을 만한 콘텐츠가 있는지는 콘텐츠 자체에 달려 있습니다.
llms.txt는 배려이지 보장이 아닙니다. 읽을 의향이 있는 AI가 콘텐츠를 더 쉽게 읽도록 돕지만, 읽을 생각이 없는 AI까지 강제로 움직이지는 못합니다.— Tenten GEO
이 글에 따라 llms.txt를 배포했다면 다음 질문은 대개 같습니다. “주요 여섯 개 AI 엔진이 실제로 우리 콘텐츠를 읽고 인용했을까?” 답은 추측이 아니라 실측으로 확인해야 합니다. 브랜드 노출의 공백이 어디에 있는지 알고 싶다면 /contact에서 30분 GEO 진단을 예약할 수 있습니다. 현장에서 주요 여섯 개 엔진의 브랜드 노출 현황을 스냅샷으로 제공하고, llms.txt가 실제로 읽혔는지도 함께 확인해 드립니다.
