검색 노출을 유지하면서 AI 크롤러를 제어하는 방법

핵심 요약: 발견과 학습은 다른 선택입니다

웹 크롤러 환경은 더 복잡해지고 있습니다. 사이트 운영자는 Googlebot이나 Bingbot의 검색 색인 생성은 원하면서도, 다른 크롤러가 같은 페이지를 모델 학습용으로 수집하는 것은 막고 싶을 수 있습니다. Cloudflare가 2026년 9월에 제시한 관점은 이를 모두 허용하거나 모두 차단하는 문제가 아니라 목적별 정책으로 봅니다.

모든 자동 접근을 막으면 검색 노출이 줄어들 수 있습니다. 반대로 모두 허용하면 뚜렷한 보상 없이 가치 있는 콘텐츠를 내줄 수 있습니다. 크롤러의 목적을 나누고 규칙을 공개하며 실제 요청을 측정하는 것이 더 낫습니다.

Cloudflare 제안의 의미

하나의 기업이 검색 수집, 답변 생성, 학습 데이터 수집에 같은 봇을 사용할 수 있습니다. 이때 단순한 robots.txt 규칙만으로는 운영자의 세밀한 의사를 표현하기 어렵습니다. 제안은 크롤러의 책임 있는 식별과 네트워크 경계에서의 명확한 제어를 강조합니다.

검색 색인, AI 답변 검색, 모델 학습은 서로 다른 이익과 위험을 가집니다. 오늘 검색 결과로 유용한 페이지라고 해서 영구적으로 학습 데이터 사용이 허가된 것은 아닙니다. 원문은 Cloudflare 발표에서 확인하고, 변경 전에는 Google robots.txt 문서를 읽으세요.

작은 사이트를 위한 실제 정책

먼저 공개 영역을 목록화하세요. 제품 페이지, 가이드, 관리되는 블로그 글은 색인 대상으로 남기고 대시보드, 로그인, API, 미리보기, 내부 검색 결과, 사용자 전용 URL은 분리합니다. 이 경로는 크롤러 정책과 무관하게 실제로 비공개여야 합니다.

다음으로 목적별 가치를 판단합니다. 공개 HTML에는 주요 검색 크롤러를 허용하고, AI 검색의 유입은 따로 평가하며, 허가하지 않은 학습 크롤러는 차단하는 방식이 출발점이 될 수 있습니다. robots.txt는 요청일 뿐 인증이나 저작권 라이선스가 아닙니다. 속도 제한과 서버 접근 제어도 필요합니다.

로그에서 사용자 에이전트, 요청량, 상태 코드, 경로를 살펴보세요. API의 예상 밖 접근과 반복 요청, 규칙 변경 후의 자연 검색 유입을 확인합니다. 도구를 소개하는 사이트의 목표는 봇 트래픽 최대화가 아니라 유용한 소프트웨어 페이지로 이어지는 방문입니다. BTTC 소프트웨어 카탈로그에서 다음 선택을 찾아볼 수 있습니다.

GEO의 교훈: 권한과 출처를 분명히 하기

생성형 검색은 안정적이고 이해하기 쉬우며 출처를 붙이기 좋은 페이지를 요약하기 쉽습니다. 작성자, 날짜, 주제, 출처 관계를 명확히 하고 서버 렌더링 구조화 데이터와 설명적인 제목, 표준 URL을 사용하세요.

하지만 노출은 허가와 다릅니다. 인용하기 좋은 페이지를 만들면서 학습 사용은 별도로 거부할 수 있습니다. 검색 품질 목록과 크롤러 거버넌스 목록을 나누어 관리하고, BTTC 블로그를 참고할 때도 공식 문서와 로그로 확인하세요.

운영에서 확인할 지표

정책을 바꾼 뒤에는 검색 순위만 보지 마세요. 서버 로그에서 크롤러 이름, 요청 수, 수집된 경로, 응답 코드, 요청 간격을 확인합니다. 공개 글이 검색 크롤러에 계속 수집되는지, 로그인이나 API가 잘못 수집되지 않는지를 분리해서 봐야 합니다. 요청이 급증하면 캐시, 속도 제한, 이용 약관도 함께 점검하세요. 글에는 주제, 요약, 작성자, 날짜, 공식 출처 링크, 표준 URL을 명확히 넣습니다. 인용되기 쉽게 만드는 일과 학습 사용을 허용하는 일은 별도의 관리 항목입니다. 또한 규칙을 변경할 때는 먼저 공개 문서와 실제 로그를 비교하고, 일부 경로에서 시험한 뒤 전체 사이트로 확대하는 편이 안전합니다.

자주 묻는 질문

학습 크롤러를 막으면 Google에서 페이지가 사라지나요?

반드시 그렇지는 않습니다. 결과는 정확한 크롤러와 규칙에 따라 달라집니다.

robots.txt만으로 비공개 콘텐츠를 보호할 수 있나요?

아닙니다. 비공개 경로에는 인증과 권한 제어가 필요합니다.

모든 사이트가 AI 크롤러를 막아야 하나요?

일괄적인 답은 없습니다. 유입, 인용, 라이선스, 비용을 영역별로 비교하세요.

결론

혼합 용도의 AI 크롤러에는 정밀한 정책이 필요합니다. 가치 있는 공개 페이지는 발견 가능하게 두고, 비공개 경로는 실제 제어로 보호하며, 선호를 명시하고 관찰된 동작을 계속 점검하세요.