워드프레스 robots.txt 만들기 및 최적화 작업을 이제야 했습니다. 홈페이지 제작에 눈을 뜨고 처음 배웠던 것이 포털 사이트에서 검색 노출이 되기 위해서는 ‘robots.txt’를 작성해서 함께 업로드를 해 놓아야 검색 로봇이 내 홈페이지를 알아보고 내용을 수집해 간다라는 것을 아주 오래전에 배웠음에도 불구하고 현재 워드프레스를 운영하면서 가장 기본 중의 기본을 잊고 robots.txt 를 만들지를 않았다는 것을 깨달았습니다. 워드프레스에서는 robots.txt 만들기를 하지 않아도 된다는 얘기도 있지만, 그래도 웹에 있어서 아주 기본적인 부분이기 때문에 robots.txt를 만들어서 업로드 해 놓는 게 좋을 것 같습니다. 작업도 아주 간단하고요.

네이버 웹마스터도구에서 robots.txt 확인

제가 robots.txt를 간과하게 된 이유가 여기에 있습니다. 네이버 웹마스터도구에서 검증 > robots.txt에서 [수집요청]을 눌렀을 때 위와 같이 뭔가 나왔습니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

이렇게 나오는데요. ‘User-agent’는 어떤 사이트의 검색 로봇이 접근할 수 있게 허용하느냐를 설정하는 부분인데요. *로 설정 시 모든 검색 로봇이 접근할 수 있게 하는 것입니다. ‘Disallow’는 수집을 원하지 않는 경로를 작성해 주는 부분입니다. wp-admin의 경우 관리자 관련 폴더라서 워드프레스를 사용할 경우 설정 해 주시는게 좋고요. 근데 문제는 ‘Allow’ 부분입니다. 검색 수집을 원하는 폴더를 지정해 주는 곳인데, 이상하게 설정이 되어 있습니다. ‘/wp-admin/admin-ajax.php’ 가 왜 설정되어 있는지 모르겠습니다. 

뭐지? 라고 생각하면서 해당 사이트의 root 폴더를 살펴 봤습니다. 분명 robots.txt 파일이 보이지 않습니다. 워드프레스의 경우에 SEO 관련 플러그인을 설치했을 경우에 robots.txt 부분을 자동으로 세팅한다고 하는데, 해당 워드프레스의 경우에 SEO 관련 플러그인 설치가 되어 있지 않았습니다. 제 예상이 맞는다면 WP Statistics 플러그인에서 자동으로 생성한 것 같은데.. 제대로 된 robots.txt 를 만들어야겠습니다.

robots.txt 만들기 및 최적화

robots.txt 를 만드는 방법은 간단합니다. 메모장을 여시고, 위와 같이 입력해 줍니다. 아래 텍스트를 복사하세요.

Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html

Sitemap: https://워드프레스 주소/sitemap.xml

검색을 좀 해 봤더니 워드프레스는 이렇게 robots.txt 를 설정하더라고요. Disallow는 wp-admin 과 readme.html 을 제외하는 건 이해하겠는데, Allow 에서 /가 아닌 ‘/wp-content/uploads/’ 로 설정하는 이유는 저도 정확하게는 모르겠습니다. 다들 이렇게 하니까 저도 이렇게 세팅해 봅니다. 그리고 제일 아래쪽에는 Sitemap 경로를 적어 줍니다. 사이트맵 경로는 위와 다를 수 있습니다. 본인 워드프레스 사이트맵 경로로 작성해 주세요.

그리고 해당 워드프레스 root 폴더에 robot.txt 파일을 업로드 해 주시면 됩니다. 간단하쥬? robots.txt 를 생성해주는 플러그인이 많지만, 플러그인이 많을수록 워드프레스는 무거워지니까 간단하게 메모장으로 작성하도록 합시다.

그리고 다시 네이버 웹마스터도구로 가서 [수집요청]을 눌러보니 제가 작성한 대로 로봇룰이 적용된 것을 확인할 수 있습니다. 제가 워드프레스로 글 작성 후 네이버 노출을 위해서 웹마스터도구에서 일일이 수집요청을 하고 있었는데, 로봇룰이 제대로 안 되어 있어서 그런가 싶은 생각도 듭니다. 로봇룰을 제대로 잡아 놨으니, 네이버에서 자동으로 수집해 가는지는 좀 더 지켜볼 일입니다.