크롤링 예산이란?Crawl Budget

크롤링 예산은 검색엔진이 일정 기간 한 사이트에서 수집할 수 있는 페이지 수와 빈도의 한도를 말합니다.

크롤링 예산에 대해 알아 둘 점은?

• 구글은 크롤링 예산이 주로 페이지가 아주 많은 대형 사이트에서 문제가 된다고 설명합니다.
• 중복 URL, 끝없이 생기는 파라미터 주소, 리디렉션 체인은 예산을 낭비합니다.
• 사이트맵과 내부 링크로 중요한 페이지가 먼저 수집되게 합니다.

크롤링 예산은 왜 중요한가요?

크롤링 예산은 서버가 감당할 수 있는 수집량과 구글이 수집하고 싶어 하는 정도를 합친 개념입니다. 서버가 느리거나 오류가 잦으면 구글이 수집량을 줄이고, 쓸모없는 주소가 많으면 새 글과 수정한 글이 늦게 반영됩니다. 상품·게시물이 계속 늘어나는 사이트라면 한 번의 점검이 아니라 운영 습관으로 관리해야 합니다. 작은 사이트라도 서버 오류나 끝없는 주소 생성 같은 원인은 결국 수집 효율을 떨어뜨리므로, 원리를 알아 두면 문제를 빨리 짚을 수 있습니다.

어떻게 확인하고 적용하나요?

1. 서버 응답 속도를 높이고 5xx 오류가 반복되지 않도록 서버 상태를 점검합니다.
2. 영구 삭제한 페이지는 404나 410 상태 코드로 응답하도록 서버를 설정합니다.
3. 내용이 없는데도 정상으로 응답하는 소프트 404 페이지를 찾아 상태 코드를 고칩니다.
4. 사이트맵에 수정 날짜(lastmod)를 정확히 넣어 갱신된 글을 구글에 알립니다.

어떤 오해가 많나요?

• 오해: noindex를 넣으면 크롤링 예산이 절약된다
  구글은 noindex 페이지도 일단 요청한 뒤에 제외하므로 수집 시간은 그대로 쓰입니다. 수집 자체를 막으려면 robots.txt를 씁니다.
• 오해: 삭제한 페이지는 robots.txt로 막는 게 빠르다
  구글은 영구 삭제 페이지에 404·410을 권합니다. 차단된 주소는 오히려 크롤링 대기열에 더 오래 남습니다.
• 오해: 수집 여유만 있으면 많이 수집된다
  서버가 버틸 수 있어도 구글이 수집할 필요를 낮게 보면 수집은 늘지 않습니다. 페이지의 품질과 최신성이 수집 수요를 좌우합니다.

예를 들면 어떤 경우인가요?

A사 쇼핑몰은 정렬·필터 조합마다 주소가 생겨 새 상품 수집이 늦어지고 있었습니다. 필터 주소는 robots.txt로 막고, 다시 팔지 않는 단종 상품 페이지는 410으로 정리했습니다.

관련 용어

함께 읽으면 좋은 글