robots.txt란?로봇 배제 표준 파일
robots.txt는 사이트 루트에 두는 텍스트 파일로, 검색엔진과 AI 크롤러에게 어떤 경로를 수집해도 되는지 알려 주는 규칙을 담습니다.
robots.txt에 대해 알아 둘 점은?
- 1994년에 만들어진 관례로, 2022년 RFC 9309로 표준화됐습니다.
- 수집을 막는 규칙일 뿐 색인 제외를 보장하지 않습니다. 색인을 막으려면 noindex를 씁니다.
- 사이트맵 주소를 함께 적어 두면 크롤러가 찾기 쉽습니다.
함께 읽으면 좋은 글
자주 묻는 질문
robots.txt에 대해 자주 묻는 질문
robots.txt로 막으면 검색에서 사라지나요?
반드시 그렇지는 않습니다. 다른 곳에서 링크된 주소는 내용 없이 색인될 수 있어, 검색에서 빼려면 noindex를 써야 합니다.
우리 사이트 SEO,
어디부터 고치면 될까요?
사이트 주소와 목표 키워드를 남겨 주시면 현재 색인·기술 상태와 경쟁을 보고 무엇부터 할지 무료로 상담해 드립니다.