ROBOT
robots.txt 생성기
크롤링 규칙, 차단 경로, sitemap 선언이 담긴 robots.txt를 만듭니다
robots.txt크롤링기술 SEO
크롤링 정책
robots.txt
User-agent: * Disallow:
도구 소개
robots.txt는 크롤러에게 어느 부분을 건너뛸지, sitemap이 어디 있는지 알려 줍니다. 오타 하나로 사이트 전체가 검색에서 사라질 수 있어서, 이 생성기는 선택한 내용으로 올바른 지시어만 내보냅니다.
사용 방법
- 기본적으로 모든 크롤러를 허용할지 차단할지 고릅니다.
- 차단할 경로를 한 줄에 하나씩 추가합니다.
- sitemap URL을 입력합니다.
- 결과를 복사해 도메인 최상위에 /robots.txt로 저장합니다.
자주 묻는 질문
Disallow를 쓰면 구글에서 페이지가 사라지나요?
아닙니다. 크롤링만 막습니다. 차단된 URL도 외부 링크를 통해 스니펫 없이 색인될 수 있습니다. 색인에서 빼려면 noindex 메타 태그를 쓰세요.
파일은 어디에 둬야 하나요?
도메인 최상위에만 둡니다 — https://example.com/robots.txt. 크롤러는 하위 디렉터리에서는 읽지 않습니다.
sitemap을 여기에 선언해야 하나요?
그렇습니다. 구글이 sitemap ping을 더 이상 받지 않으므로, robots.txt 선언과 Search Console 등록이 표준 경로입니다.