robots.txt로 막으면 검색에서 빠지나요?

구글 검색센터, 「검색 기술 요구사항」 robots.txt 파일로 Googlebot을 차단하면 크롤링은 차단되지만, 페이지의 URL이 검색결과에 계속 표시될 수 있습니다. Google에서 페이지의 색인을 생성하지 않도록 하려면 noindex를 사용하여 Google이 URL을 크롤링하도록 허용합니다.

원문 1개 더 보기

네이버 서치어드바이저, 「robots.txt 설정하기」 (2026-09-17 확인) 만약, robots.txt가 HTML 문서로 반환된다면 그 안에 유효한 규칙이 있더라도 robots.txt가 없음 (모두 허용)으로 해석될 수도 있습니다.

"검색에서 빼려면 robots.txt로 막으면 된다"는 흔한 오해를 구글이 직접 부정한 대목이에요. 빼고 싶으면 noindex를 쓰고 로봇은 들어오게 두셔야 합니다.