워드프레스 robots.txt 확인 방법을 알아두면, Search Console에서 "크롤링이 차단됨" 같은 문구를 봤을 때 원인을 훨씬 빨리 좁힐 수 있어요. 개발자나 기획자 입장에서 새 글을 발행했는데 검색에 안 보이면 noindex, canonical, 사이트맵부터 보게 되는데, 실제 운영에서는 robots.txt 한 줄 때문에 Googlebot이 필요한 경로를 못 보는 경우도 있어요.
제가 이런 문제를 점검할 때는 먼저 "검색엔진이 페이지를 열 수 있는가"와 "열었을 때 색인 허용 신호가 있는가"를 분리해서 봅니다. robots.txt는 검색엔진 크롤러가 특정 경로에 접근해도 되는지 알려주는 파일이고, noindex는 페이지를 색인에서 제외하라는 태그예요. 둘을 같은 설정처럼 보면 원인 진단이 꼬일 수 있어요.
이 글에서는 브라우저에서 robots.txt를 직접 여는 방법, Search Console에서 확인할 위치, Rank Math를 쓸 때 조심할 설정, 실제 운영에서 자주 생기는 실수까지 순서대로 정리할게요.
먼저 결론부터 보면
robots.txt 문제를 볼 때는 아래 순서로 보면 돼요.
| 순서 | 확인할 것 | 왜 중요한가요? |
|---|---|---|
| 1 | 운영 도메인 + /robots.txt가 열리는지 |
실제로 검색엔진이 읽는 파일을 먼저 봐야 해요. |
| 2 | Disallow 규칙 |
중요한 글이나 폴더가 막혀 있는지 확인해요. |
| 3 | Search Console robots.txt 리포트 | Google이 어떤 robots.txt를 발견했는지 봐요. |
| 4 | noindex와 구분 | 접근 차단인지, 색인 제외인지 분리해야 해요. |
Google 문서 기준으로도 robots.txt는 크롤링을 제어하는 파일이에요. 반대로 검색 결과에서 페이지를 확실히 제외하고 싶을 때는 robots.txt가 아니라 noindex 같은 색인 제어 신호를 쓰는 편이 좋아요.
robots.txt는 어디에서 확인하나요?
가장 먼저 브라우저 주소창에서 운영 중인 도메인 뒤에 /robots.txt만 붙여 열어보면 돼요. 예를 들어 이 블로그 기준으로는 https://blog.sinabro-ai.com/robots.txt처럼 확인합니다.
정상이라면 User-agent, Disallow, Allow, Sitemap 같은 줄이 보일 수 있어요. 여기서 중요한 건 예시 URL을 그대로 복사하는 것이 아니라, 내 워드프레스 주소 뒤에 /robots.txt 경로를 붙여 실제 출력값을 보는 것이에요.
워드프레스는 실제 파일이 없어도 동적으로 robots.txt 내용을 출력할 수 있어요. 그래서 FTP에서 파일이 안 보인다고 바로 문제가 있다고 판단하면 안 돼요. 중요한 건 브라우저와 검색엔진이 접근하는 URL에서 어떤 내용이 보이느냐예요.
기본 워드프레스 robots.txt는 보통 이렇게 보여요
워드프레스 기본 흐름에서는 관리자 영역 일부를 막고, 필요한 AJAX 경로는 허용하는 식의 규칙이 들어갈 수 있어요.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://blog.sinabro-ai.com/wp-sitemap.xml
이 정도는 흔히 볼 수 있는 형태예요. 문제는 여기에 실수로 너무 넓은 차단 규칙이 들어간 경우예요.
예를 들어 아래처럼 되어 있다면 위험해요.
User-agent: *
Disallow: /
Disallow: /는 사이트 전체를 크롤링하지 말라는 의미로 해석될 수 있어요. 테스트 중에 넣어두고 잊어버렸거나, 보안/SEO 플러그인 설정을 잘못 만졌을 때 이런 문제가 생길 수 있어요.
Search Console에서는 어디를 보면 될까요?
Search Console에는 robots.txt 관련 리포트가 있어요. 이 화면에서는 Google이 사이트에서 발견한 robots.txt 파일과 가져오기 상태를 볼 수 있어요.
여기서 볼 지점은 세 가지예요.
- Google이 robots.txt를 정상적으로 가져왔는지
- 최근 가져온 시간이 너무 오래되지 않았는지
- 차단 규칙 때문에 중요한 URL이 막히고 있지 않은지
다만 Search Console 화면 하나만 보고 끝내면 안 돼요. 리포트는 상태를 알려주는 도구이고, 실제 원인은 워드프레스 설정, 플러그인 설정, 서버 캐시, CDN 캐시 쪽에 있을 수 있어요.
noindex와 robots.txt를 헷갈리면 안 돼요
이 부분이 가장 중요해요.
robots.txt로 페이지 접근을 막으면 Googlebot이 그 페이지 내용을 제대로 보지 못할 수 있어요. 그러면 페이지 안에 noindex 태그가 있어도 Google이 그 태그를 읽지 못할 수 있어요.
반대로 noindex는 크롤러가 페이지를 열 수 있는 상태에서 <meta name="robots" content="noindex"> 같은 태그를 읽고 색인 제외를 판단하는 방식이에요.
| 상황 | robots.txt | noindex |
|---|---|---|
| 역할 | 크롤링 접근 제어 | 색인 제외 요청 |
| 크롤러가 페이지 내용을 볼 수 있나요? | 막히면 보기 어려움 | 페이지를 열고 태그를 읽음 |
| 검색 결과 제외 목적에 적합한가요? | 단독으로는 부적합 | 적합 |
| 워드프레스 점검 위치 | /robots.txt, 플러그인, 서버 설정 |
글별 SEO 설정, 페이지 소스 |
그래서 "검색에 안 나오게 하고 싶다"는 목적이라면 robots.txt로 막는 방식보다 noindex를 쓰는 편이 일반적으로 더 명확해요. 반대로 "중요한 글이 검색에 안 나온다"는 문제라면 robots.txt가 해당 글이나 폴더 접근을 막고 있는지 먼저 봐야 해요.
Rank Math를 쓴다면 이 설정도 봐요
Rank Math 같은 SEO 플러그인을 쓰면 관리자 화면에서 robots.txt 내용을 편집하거나 확인할 수 있는 기능이 제공될 수 있어요. 이 기능을 쓸 때는 두 가지만 조심하면 돼요.
첫째, robots.txt는 사이트 전체 크롤링에 영향을 줄 수 있어요. 한 줄을 잘못 넣으면 특정 글 하나가 아니라 폴더 전체가 막힐 수 있어요.
둘째, 캐시가 남아 있을 수 있어요. 설정을 수정했는데도 브라우저에서 예전 robots.txt가 보이면 사이트 캐시, 서버 캐시, CDN 캐시를 함께 봐야 해요.
실무에서는 수정 전후로 아래 세 가지를 기록해두면 좋아요.
- 수정 전 robots.txt 내용
- 수정한 규칙
- 수정 후 브라우저에서 다시 열었을 때 보이는 내용
실제 운영에서 헷갈리는 사례
실무에서 자주 보는 상황은 "글 하나가 안 보인다"고 생각했는데, 실제로는 폴더 단위 규칙이 여러 글을 함께 막고 있는 경우예요. 개발자는 보통 서버나 플러그인 설정을 먼저 의심하고, 기획자는 Search Console 문구를 보고 콘텐츠 문제로 판단하기 쉬운데, robots.txt는 그 중간에 있는 접근 제어 신호라 따로 분리해서 봐야 합니다.
| 상황 | 헷갈리기 쉬운 판단 | 먼저 볼 것 |
|---|---|---|
| 새 글만 검색에 안 보임 | 글 품질이나 Rank Math 점수 문제로만 봄 | URL 검사와 함께 해당 글 경로가 Disallow 규칙과 겹치는지 확인 |
| 수정 후에도 예전 robots.txt가 보임 | 설정이 저장되지 않았다고 판단 | 워드프레스 캐시, 서버 캐시, CDN 캐시를 순서대로 비우고 다시 확인 |
| Search Console에서 차단 문구가 보임 | 무조건 noindex 문제로 봄 | 크롤링 차단인지 색인 제외 신호인지 분리해서 확인 |
이렇게 나누면 불필요하게 글을 다시 쓰거나 플러그인을 바꾸기 전에, 실제로 검색엔진이 접근을 못 하는 문제인지부터 확인할 수 있어요.
중요한 글이 막혔는지 확인하는 방법
robots.txt를 열었다면 이제 Disallow 줄을 봐야 해요. 여기서 중요한 건 "내 글 URL 경로와 겹치는 규칙이 있는가"예요.
예를 들어 글 URL이 아래와 같다고 해볼게요.
https://blog.sinabro-ai.com/wordpress-robots-txt-check/
그런데 robots.txt에 아래 규칙이 있다면 문제가 될 수 있어요.
Disallow: /wordpress-
이런 규칙은 의도치 않게 여러 글을 함께 막을 수 있어요. 반대로 /wp-admin/처럼 관리자 경로만 막는 규칙은 일반 글 색인과 직접 충돌하지 않는 경우가 많아요.
수정 후 바로 검색에 반영되나요?
바로 바뀌지 않을 수 있어요. robots.txt를 수정해도 Google이 새 파일을 다시 가져가고, 차단 상태를 다시 평가하는 시간이 필요해요.
수정 후에는 아래 순서로 봐요.
- 브라우저에서
운영 도메인 + /robots.txt를 다시 열어요. - 바뀐 규칙이 실제로 보이는지 확인해요.
- Search Console robots.txt 리포트에서 상태를 봐요.
- 문제 글은 URL 검사로 따로 확인해요.
- noindex, canonical, 사이트맵 포함 여부도 함께 봐요.
여기서 robots.txt만 계속 수정하면 원인 추적이 어려워집니다. 한 번 수정했다면 Search Console과 실제 URL 검사를 통해 어떤 신호가 바뀌었는지 확인하는 편이 좋아요.
빠른 점검 체크리스트
시간이 없다면 이 순서만 따라가도 돼요.
운영 중인 도메인 뒤에 /robots.txt를 붙인 주소를 직접 열어봐요.Disallow: /처럼 전체 차단 규칙이 있는지 봐요.- 중요한 글 URL 경로와 겹치는
Disallow규칙이 있는지 봐요. - Search Console robots.txt 리포트에서 Google이 파일을 가져왔는지 봐요.
- 색인 제외 목적이라면 robots.txt가 아니라 noindex 설정을 봐요.
- 수정 후에는 캐시를 비우고 다시 열어 확인해요.
같이 보면 좋은 내부 글
robots.txt는 혼자 보는 설정이 아니에요. 색인이 안 되는 문제를 좁히려면 아래 흐름으로 같이 보는 편이 좋아요.
- 워드프레스 noindex 확인 방법에서는 글별 색인 차단 태그를 확인하는 순서를 볼 수 있어요.
- 워드프레스 canonical 확인 방법에서는 Google이 다른 대표 URL을 고르는 상황을 분리해서 볼 수 있어요.
- 워드프레스 사이트맵 제출 방법에서는 Search Console에 어떤 사이트맵을 제출해야 하는지 이어서 볼 수 있어요.
자주 묻는 질문
robots.txt가 없으면 SEO에 문제가 생기나요?
반드시 그렇지는 않아요. 워드프레스는 동적으로 robots.txt를 출력할 수 있고, 검색엔진이 사이트를 크롤링하는 데 꼭 복잡한 robots.txt가 필요한 것은 아닙니다. 다만 사이트맵 위치나 차단 규칙을 명확히 관리하고 싶다면 확인해두는 편이 좋아요.
Disallow가 있으면 무조건 색인이 안 되나요?
그렇게 단정하면 안 돼요. robots.txt는 크롤링 접근을 제어하는 파일이고, 검색 결과 표시 여부와는 분리해서 봐야 해요. Google 문서에서도 검색 결과 제외 목적에는 robots.txt보다 noindex 같은 방법을 쓰는 편이 적절하다고 안내해요.
수정했는데 Search Console에 바로 반영되지 않아요.
정상일 수 있어요. 검색엔진이 robots.txt를 다시 가져가고 상태를 갱신하는 시간이 필요해요. 먼저 브라우저에서 새 내용이 보이는지 보고, 그 다음 Search Console 리포트와 URL 검사를 함께 보는 편이 좋아요.
robots.txt를 수정하기 전에 백업해야 하나요?
네. Rank Math나 서버 설정에서 robots.txt를 바꾸기 전에는 기존 내용을 메모장에 복사해두는 편이 좋아요. 한 줄 실수로 폴더 전체가 막힐 수 있어서, 수정 전후 내용을 남겨두면 되돌리기가 훨씬 쉽습니다.
캐시를 비웠는데도 이전 robots.txt가 보이면 어떻게 하나요?
브라우저 캐시만 보지 말고 워드프레스 캐시 플러그인, 서버 캐시, CDN 캐시를 나눠서 확인해요. 그래도 그대로라면 실제 파일 robots.txt와 워드프레스 동적 출력이 서로 충돌하는지도 봐야 합니다.
참고한 공식 자료
- Google Search Central: robots.txt 소개
- Google Search Console 도움말: robots.txt 리포트
- WordPress Developer Reference: do_robots
- WordPress Developer Reference: robots_txt filter
- Rank Math: How to Edit Your robots.txt File