robots.txt란?로봇 배제 표준 파일

robots.txt는 사이트 루트에 두는 텍스트 파일로, 검색엔진과 AI 크롤러에게 어떤 경로를 수집해도 되는지 알려 주는 규칙을 담습니다.

robots.txt에 대해 알아 둘 점은?

• 1994년에 만들어진 관례로, 2022년 RFC 9309로 표준화됐습니다.
• 수집을 막는 규칙일 뿐 색인 제외를 보장하지 않습니다. 색인을 막으려면 noindex를 씁니다.
• 사이트맵 주소를 함께 적어 두면 크롤러가 찾기 쉽습니다.

robots.txt는 왜 중요한가요?

robots.txt는 크롤러가 사이트에 와서 가장 먼저 읽는 파일이라, 한 줄 실수가 사이트 전체 수집을 멈추게 할 수 있습니다. 반대로 잘 쓰면 검색 필터·장바구니처럼 수집할 필요가 없는 주소에 크롤러가 시간을 쓰지 않게 해 서버 부담을 줄여 줍니다. 그래서 사이트를 새로 열거나 개편할 때 가장 먼저 확인해야 하는 파일입니다. 또한 이 파일은 색인을 막는 수단이 아니라 수집을 조절하는 수단이라는 점을 이해해야, 검색에서 빼고 싶은 페이지를 올바른 방법으로 처리할 수 있습니다.

어떻게 확인하고 적용하나요?

1. 브라우저에서 도메인 뒤에 /robots.txt를 붙여 현재 적용된 규칙을 직접 열어 봅니다.
2. 개발 단계에서 쓰던 'Disallow: /'처럼 사이트 전체를 막는 줄이 남아 있지 않은지 확인합니다.
3. 페이지를 그리는 데 필요한 CSS·자바스크립트 파일 경로가 막혀 있지 않은지 살핍니다.
4. 규칙을 고친 뒤 서치콘솔 URL 검사로 주요 페이지가 수집 가능한 상태인지 확인합니다.

어떤 오해가 많나요?

• 오해: robots.txt로 막으면 비공개 페이지가 보호됩니다.
  규칙을 따르지 않는 크롤러도 있고, 파일 자체를 누구나 열어 볼 수 있습니다. 민감한 내용은 비밀번호로 보호합니다.
• 오해: 막아 둔 페이지에 noindex를 함께 넣으면 검색에서 빠집니다.
  수집이 막히면 구글이 noindex 표시를 읽지 못합니다. 색인에서 빼려면 수집은 허용하고 noindex를 넣어야 합니다.
• 오해: robots.txt가 없으면 사이트가 수집되지 않습니다.
  파일이 없으면 크롤러는 사이트 전체를 수집해도 된다고 봅니다. 막을 경로가 있을 때 필요한 파일입니다.

예를 들면 어떤 경우인가요?

A사는 사이트 개편 뒤 검색 유입이 줄어 원인을 찾다가, 개발 서버에서 쓰던 전체 차단 규칙이 그대로 올라간 것을 발견했습니다. 그 줄을 지우고 서치콘솔에서 수집 상태를 다시 확인했습니다. 이후 배포 절차에 robots.txt 확인 단계를 넣어 같은 실수가 반복되지 않게 했습니다.

관련 용어

함께 읽으면 좋은 글