sitemap과 robots.txt는 이름부터 비슷하게 느껴져서 처음에는 한꺼번에 보려 했습니다. 실제로는 열어줄 주소와 막지 말아야 할 경로를 따로 확인해야 실수가 줄었습니다.
- sitemap 주소가 정상적으로 열리는지 확인합니다.
- 필요한 글과 페이지가 sitemap에 들어가는지 봅니다.
- robots.txt가 막아야 할 것과 열어둘 것을 구분하는지 확인합니다.
- Search Console에서 제출한 주소와 실제 주소가 같은지 봅니다.
파일이 존재한다고 설정이 끝난 것은 아니었다
주소가 열리는 것만 확인하고 끝냈던 때가 있었습니다. 하지만 중요한 글이 sitemap에 빠져 있거나 robots.txt가 엉뚱한 경로를 막고 있으면 파일 존재만으로는 부족했습니다.
- 처음에는 파일이 존재하면 설정이 끝난 줄 알았습니다.
- 막는 설정과 알려주는 설정을 같은 의미로 받아들였습니다.
- 테마나 플러그인 변경 뒤 파일 상태를 다시 보지 않았습니다.
글 발행 후 두 파일을 다시 보는 습관
이제는 새 글을 발행한 뒤 sitemap에 들어왔는지, robots.txt가 기본 경로를 과하게 막고 있지 않은지 가볍게 확인합니다. 몇 초짜리 확인이 나중의 불안을 줄여줍니다.
sitemap 문서를 보며 역할을 분리했다
Google의 sitemap 문서는 파일의 역할을 다시 확인하는 데 도움이 됐습니다. 제 기록에서는 문서 설명보다 실제 운영 중 어떤 지점에서 헷갈렸는지를 중심으로 남겼습니다.
제가 본 화면만으로 판단하면 놓치는 부분이 있을 것 같아 Google sitemap 문서도 참고했습니다. 두 파일을 나눠서 본 이유를 확인할 때 sitemap과 robots.txt의 역할을 제 메모와 나란히 놓고 구분하기 위한 자료입니다.
파일이 멀쩡해도 색인이 막힐 수 있다
sitemap이 정상이어도 noindex가 걸려 있으면 색인 흐름이 막힐 수 있습니다. 그래서 두 파일만 보지 않고 페이지별 색인 설정도 함께 보게 됐습니다.
sitemap과 robots.txt는 Search Console을 붙이기 전 정리한 사이트 구조와 함께 봐야 했습니다. 앞 단계의 정리는 Search Console을 연결하기 전에 먼저 정리한 사이트 구조에 남겨두었습니다.
발행 뒤 두 파일을 확인하는 짧은 순서
다음에는 sitemap 제출 상태, post-sitemap 포함 여부, robots.txt 차단 규칙, Search Console URL 검사 순서로 볼 생각입니다. 순서를 정해두니 같은 화면을 여러 번 헤매지 않아도 됐습니다.
sitemap과 robots.txt는 한 번만 보면 끝일까?
Q. sitemap.xml과 robots.txt는 처음 설정할 때만 확인하면 되나요?
A. 저는 한 번 보고 끝내기보다, 글을 발행하거나 구조를 바꾼 뒤에 가끔 다시 확인하는 쪽이 맞다고 느꼈습니다. 특히 새 글이 sitemap에 들어왔는지, robots.txt가 중요한 경로를 막고 있지 않은지는 발행 초기에 몇 번 확인해두면 마음이 편했습니다.