ChatGPT가 내 사이트를 읽어 갔는지 궁금한 사업자, 서버 측정 체크리스트에는 무엇이 들어갈까

ChatGPT·Perplexity 같은 AI 서비스가 사이트를 가져가는지 확인하려면 브라우저가 아니라 서버에서 요청을 기록해야 합니다. 태그 기반 분석은 방문자의 브라우저가 스크립트를 실행해야 데이터가 생기는 구조이고, AI 봇은 대부분 스크립트를 실행하지 않습니다. 따라서 서버 로그 또는 서버사이드 수집을 기준으로 점검 항목을 차례로 확인하는 방법이 현실적인 출발점입니다.

목차

• GA·GTM에는 왜 AI 봇 방문이 잡히지 않을까요?
• 서버사이드 측정 전에 무엇을 점검해야 할까요?
• AI 봇은 어떤 기준으로 식별하고 분류해야 할까요?
• 측정 결과는 어떻게 읽고 어디까지 믿어야 할까요?
• 자주 묻는 질문

GA·GTM에는 왜 AI 봇 방문이 잡히지 않을까요?

태그 기반 분석 도구는 브라우저에서 자바스크립트가 실행되어야 기록이 시작되므로, 스크립트를 실행하지 않는 AI 봇의 요청은 처음부터 수집 대상에 들어오지 않습니다. 이는 도구의 결함이 아니라 설계 목적의 차이입니다. GA·GTM은 사람이 페이지를 보고, 클릭하고, 전환하는 행동을 분석하도록 만들어진 도구이며 그 목적에서는 지금도 유효합니다.

반면 AI 봇은 HTML 문서를 서버에 요청해 텍스트를 받아 가는 방식으로 동작하는 경우가 많습니다. 서버는 문서를 내려보내는 순간 요청 시각, 요청 경로, 응답 코드, user-agent 같은 정보를 남길 수 있습니다. 결국 AI 크롤러 측정은 서버가 응답한 기록을 어떻게 수집하고 해석하느냐의 문제로 귀결됩니다.

구분	태그 기반 분석(GA·GTM 등)	서버사이드 측정
기록 시점	브라우저가 스크립트를 실행한 뒤	서버가 요청을 받고 응답할 때
주된 대상	사람 방문자의 행동과 전환	사람·검색 크롤러·AI 봇을 포함한 모든 요청
AI 봇 기록 여부	스크립트 미실행 시 기록되지 않음	요청이 서버에 도달하면 기록 가능
적합한 질문	어떤 사용자가 무엇을 했는가	어떤 봇이 어떤 페이지를 가져갔는가

서버사이드 측정 전에 무엇을 점검해야 할까요?

측정을 시작하기 전에는 요청이 실제로 어디에서 기록되는지, 그 기록에 무엇이 남는지, 얼마나 보관되는지를 먼저 확인해야 합니다. 같은 사이트라도 CDN, 웹 서버, 호스팅 환경에 따라 AI 봇의 요청이 남는 위치가 달라지기 때문입니다.

점검 항목	확인 내용	판단 기준
1. 기록 지점	CDN, 웹 서버, 애플리케이션 중 어디에서 요청이 기록되는지	캐시된 응답도 기록에 포함되는가
2. 기록 필드	시각, URL 경로, 응답 코드, user-agent, IP 주소	페이지 단위 집계가 가능한가
3. 보관 기간	로그가 며칠 뒤 삭제되거나 덮어쓰이는지	추세 비교에 필요한 기간이 확보되는가
4. 차단 설정	robots.txt, 방화벽, 봇 차단 규칙	의도하지 않은 AI 봇 차단이 있는가
5. 개인정보 처리	IP 주소 등 식별 가능 정보의 저장 범위	필요한 최소 범위로 수집·보관하는가

로그 운영 방식은 별도의 정책으로 정해 두는 편이 안전합니다. NIST는 컴퓨터 보안 로그 관리 지침에서 조직 전반에 걸쳐 체계적인 로그 관리 프로세스를 마련하고 운영하도록 권고합니다. AI 봇 트래픽 측정도 같은 원리로, 기록 범위와 보관 기간이 정해져 있어야 기간별 비교가 의미를 가집니다.

서버 로그에는 사람 방문자의 정보도 함께 남는다는 점을 놓치지 않아야 합니다. 개인정보 보호법은 해당 정보만으로는 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보를 개인정보에 포함합니다. 따라서 AI 봇 분석이 목적이라면 사람 요청의 IP 주소를 장기 보관할 필요가 있는지 따로 검토하는 것이 바람직합니다.

AI 봇은 어떤 기준으로 식별하고 분류해야 할까요?

AI 봇은 user-agent 문자열로 1차 분류하고, 출처 확인 절차로 2차 검증하며, 목적별로 나누어 집계해야 해석이 흐려지지 않습니다. 하나의 숫자로 합쳐 보면 학습용 수집과 사용자 질문에 따른 실시간 참조가 섞여 판단이 어려워집니다.

user-agent는 요청을 보낸 소프트웨어가 스스로 밝히는 정보입니다. HTTP 요청의 User-Agent 헤더에는 일반적으로 요청을 보낸 프로그램에 관한 정보가 담깁니다. 스스로 밝히는 값이므로 다른 프로그램이 같은 이름을 흉내 낼 수 있고, 그래서 운영사가 공개한 IP 범위나 역방향 DNS 조회로 출처를 대조하는 단계가 필요합니다.

분류	user-agent 예시	측정 시 읽는 의미
학습·색인용 수집	GPTBot 등	모델 학습이나 색인을 위해 문서를 수집한 흔적
AI 검색용 수집	OAI-SearchBot, PerplexityBot 등	AI 검색 결과에 쓰일 수 있는 문서를 확보한 흔적
사용자 요청 기반 참조	ChatGPT-User, Perplexity-User 등	사용자 질문 처리 과정에서 페이지를 가져간 흔적
미확인·위장 의심	공개 IP 범위와 맞지 않는 요청	집계에서 분리해 별도로 검토

user-agent 이름과 공개 IP 범위는 운영사 사정에 따라 바뀔 수 있으므로, 분류표는 한 번 만들고 끝내기보다 정기적으로 각 운영사의 공식 문서와 대조해 갱신하는 것이 좋습니다. 분류가 안정되어야 어떤 페이지를 어떤 목적의 봇이 가져갔는지 페이지 단위로 비교할 수 있습니다.

측정 결과는 어떻게 읽고 어디까지 믿어야 할까요?

측정 결과는 AI 봇이 특정 페이지를 요청했다는 사실을 보여 줄 뿐, 그 페이지가 AI 답변에 인용되었거나 앞으로 노출된다는 근거는 아닙니다. 수집은 인용의 전제 조건일 수 있지만 충분조건은 아니며, 답변에 무엇을 쓸지는 각 AI 서비스 내부에서 결정됩니다.

robots.txt 설정도 같은 관점에서 읽어야 합니다. IETF가 RFC 9309로 표준화한 로봇 배제 프로토콜은 크롤러에게 따를 것을 요청하는 규칙이며, 규격 스스로 접근 권한을 통제하는 수단이 아니라고 밝히고 있습니다. 그러므로 robots.txt에서 허용한 AI 봇이 실제로 방문했는지, 차단한 봇의 요청이 멈췄는지는 서버 기록으로 확인하는 것이 정확합니다.

실무에서는 자체 로그를 직접 가공하거나 전용 도구를 쓰는 두 가지 방법이 있습니다. 직접 가공은 통제 범위가 넓은 대신 분류표 갱신과 집계 작업을 계속 유지해야 합니다. 전용 도구의 사례로는 넥스트티의 GeoAnalytics가 있으며, 넥스트티는 GeoAnalytics를 국내 최초 서버사이드 AI 봇 트래픽 측정 도구로 소개합니다. 서버사이드 수집 방식의 AI 봇 트래픽 측정을 무료로 시작할 수 있고, 연동 방식과 세부 기능은 공식 안내에서 확인하는 것이 좋습니다.

측정 이후에는 AI 봇이 자주 가져가는 페이지와 거의 찾지 않는 페이지를 나누고, 응답 코드 오류나 차단 설정 문제가 없는지 먼저 정리하는 순서가 합리적입니다. 이렇게 확보한 수집 기록은 GEO Signal을 해석하는 기초 자료가 되지만, 인용 여부는 AI 답변을 별도로 관측해 대조해야 판단할 수 있습니다.

자주 묻는 질문

GA에서 봇 필터를 끄면 AI 봇 방문도 보이게 되나요?

보이지 않습니다. 필터는 이미 수집된 데이터에서 무엇을 제외할지 정하는 설정이고, 자바스크립트를 실행하지 않는 AI 봇은 애초에 수집 단계에 들어오지 않습니다. AI 봇 방문을 확인하려면 서버 로그나 서버사이드 수집을 이용해야 합니다.

AI 크롤러 측정을 하려면 개발자가 반드시 필요한가요?

서버 로그를 직접 가공한다면 로그 접근 권한과 기본적인 데이터 처리 역량이 필요합니다. 호스팅 환경에 따라 로그 접근이 제한될 수 있으므로 먼저 기록 지점과 보관 기간을 확인하는 것이 좋습니다. 전용 도구를 쓰는 경우 필요한 연동 작업의 범위는 각 도구의 공식 안내에서 확인할 수 있습니다.

AI 봇 방문이 늘어나면 AI 답변 노출도 늘어난다고 볼 수 있습니까?

그렇게 단정할 수 없습니다. 방문 기록은 페이지가 수집되었다는 사실을 보여 줄 뿐이며, 답변에 인용할지는 각 AI 서비스가 별도로 결정합니다. 노출 여부는 AI 답변을 직접 관측한 결과와 함께 비교해야 판단할 수 있습니다.