noindex란?noindex 지시어

noindex는 검색엔진에 "이 페이지를 검색 결과에 넣지 말라"고 알리는 지시로, 메타 robots 태그나 HTTP 헤더로 넣습니다.

noindex에 대해 알아 둘 점은?

• robots.txt 차단과 다릅니다. robots.txt로 막으면 검색엔진이 noindex를 읽지 못해 오히려 색인에서 빠지지 않을 수 있습니다.
• 실수로 사이트 전체에 넣으면 검색 결과에서 사라질 수 있어 점검이 필요합니다.
• 감사 페이지, 내부 검색 결과, 얇은 태그 목록처럼 검색에 나올 필요가 없는 페이지에 씁니다.

noindex는 왜 중요한가요?

noindex는 검색 결과에 보일 페이지를 사이트 운영자가 직접 고르는 도구입니다. 내부용이나 중복 성격의 페이지를 빼 두면 사이트를 대표하는 페이지가 검색 결과에 더 깔끔하게 드러납니다. 반대로 코드 한 줄로 중요한 페이지가 빠질 수도 있어, 어느 페이지에 넣었는지 목록으로 관리하고 사이트 개편 때마다 다시 확인하는 것이 좋습니다. 검색에 나올 필요가 없는 페이지를 정리하면 검색 사용자가 엉뚱한 페이지에 들어왔다가 떠나는 일도 줄어듭니다.

어떻게 확인하고 적용하나요?

1. HTML 페이지는 head 영역에 meta robots 태그로 noindex 규칙을 넣습니다.
2. PDF·이미지처럼 HTML이 아닌 파일은 X-Robots-Tag 응답 헤더로 지정합니다.
3. URL 검사 도구에서 구글이 마지막으로 받은 HTML에 규칙이 있는지 확인합니다.
4. 빨리 빼야 하는 페이지는 다시 크롤링을 요청하고 색인 보고서로 결과를 봅니다.

어떤 오해가 많나요?

• 오해: robots.txt 파일에 noindex를 적으면 된다
  구글은 robots.txt 안에 적은 noindex 규칙을 지원하지 않습니다. 페이지의 meta 태그나 응답 헤더에 넣어야 합니다.
• 오해: 넣자마자 검색 결과에서 사라진다
  구글은 페이지를 다시 크롤링해야 규칙을 읽습니다. 중요도가 낮은 페이지는 재방문까지 오래 걸릴 수 있습니다.
• 오해: googlebot 태그와 robots 태그는 같다
  name="robots"는 규칙을 지원하는 검색엔진 전체에, name="googlebot"은 구글에만 적용됩니다. 대상을 확인하고 씁니다.

예를 들면 어떤 경우인가요?

A사는 내부용 가격표 PDF가 검색 결과에 나오는 것을 발견했습니다. 파일 응답에 X-Robots-Tag: noindex 헤더를 붙인 뒤 URL 검사 도구에서 다시 크롤링을 요청했습니다.

관련 용어

함께 읽으면 좋은 글