본문 바로가기

정보/Blog

[블로그 최적화] '네이버 검색로봇이 사이트 진단을 할 수 없습니다' 해결 방법 (robots.txt)

반응형

네이버에서 '사이트 간단 체크'를 했을 때, '네이버 검색로봇이 사이트 진단을 할 수 없습니다'라고 뜨는 경우 난감할 것이다. 검색로봇은 뭐고 어떻게 해결해야 하는지 쉽고 간단한 게 설명하려고 하니 차례대로 따라 해 보길 바란다. 우선 네이버에 내 사이트 등록부터 하고 오는 것을 추천한다. 방법은 아래 페이지를 참고하면 된다.

 

 

 

네이버 서치 어드바이저에 사이트 등록하는 방법

 

[블로그 최적화] 네이버 서치 어드바이저에 사이트 등록하는 방법

내 블로그가 네이버에서도 검색되도록 하고 싶다면 네이버에 사이트 등록은 기본이다. 네이버는 네이버 블로그가 아닌 이상 잘 검색이 안 되는 폐쇄적인 구조이긴 하지만 조금이라도 트래픽을

auspicious01.tistory.com

 

 

 

 

 

 

 

 

검색로봇이란?

우선 다음 용어에 대해 알아두어야 설명을 알아듣기 편할 것이다.

명칭 설명
크롤링(Crawling), 수집 웹에서 정보를 수집하는 행위
크롤러 (Crawler), 검색 로봇 웹을 돌아다니면서 정보를 수집하는 로봇

 

검색 엔진은 웹에 존재하는 수많은 정보들을 쉽고 빠르게 찾을 수 있도록 도와주는 역할을 한다. 각 검색 엔진에는 크롤러라는 검색 로봇을 만들어 이 로봇이 웹에서 돌아다니며 정보를 수집하도록 한다. 구글의 '구글봇' 네이버의 '네이버 봇 혹은 예티'가 각 검색 엔진의 크롤러인 셈이다. 하지만 이 로봇들이 내 웹사이트를 마음대로 드나들 수 있는 건 아니고, 출입을 허락한다는 일종의 출입 증명서가 있어야 가능하다. 그 문서가 바로 robots.txt다. 이 문서를 통해 접근을 허용하기도 하지만 '이 페이지는 들어가지 마'라고 제한할 수도 있다.

 

 

 

 

사이트 간단 체크 방법

1. 네이버 서치 어드바이저에 접속한다.

https://searchadvisor.naver.com/

 

네이버 서치어드바이저

네이버 서치어드바이저와 함께 당신의 웹사이트를 성장시켜보세요

searchadvisor.naver.com

 

 

2. 우측 상단 웹마스터 도구를 클릭한다.

네이버 웹마스터 도구

 

 

3. 간단체크 탭을 클릭한다. 해당 사이트의 URL을 적고 돋보기 버튼을 클릭한다.

네이버 사이트 간단 체크

 

 

4. 진단 결과가 나오는데, 네이버 검색로봇이 설정되지 않았을 경우 진단할 수 없다며 오류 메시지가 뜰 것이다.

네이버 검색로봇 정상 결과 노출

 

 

 

 

네이버 검색로봇 설정 방법

1. 웹마스터-사이트 관리에 들어간다.

네이버 웹마스터 도구 사이트 관리

 

 

2. 사이트 목록에서 해당 URL을 클릭한다.

네이버 서치 어드바이저 사이트 목록

 

 

 

3. 좌측 메뉴에서 검증-robots.txt를 클릭한다.

네이버 robots.txt

 

 

4. robots.txt 간단 생성에서 아래와 같이 설정한 뒤 다운로드 버튼을 눌러 robots.txt를 다운로드하여준다.

네이버 robots.txt 다운로드

 

다운로드 파일이 다운되지 않을 경우 아래 파일을 다운 받아 사용한다.

robots.txt
0.00MB

 

 

 

 

5. 티스토리 블로그 관리자 페이지에서 스킨 편집으로 들어가 준다.

티스토리 관리자

 

 

 

6. html 편집을 클릭한다.

티스토리 html 편집

 

 

 

7. '파일 업로드' 탭에서 추가 버튼을 눌러 다운로드하여놓은 robots.txt를 업로드한 뒤 적용 버튼을 클릭한다.

 

 

 

8. 다시 웹마스터 도구로 돌아와 'robot.txt 정보'에서 수집 요청 버튼을 클릭한다.

네이버 서치 어드바이저 수집요청

 

 

 

9. 수집 요청이 잘 되었다면 다음과 같은 알럿 창이 뜰 것이다.

네이버 서치 어드바이저 수집요청

 

 

10. 1분 정도 뒤에 'robots.txt 검증'에서 확인 버튼을 클릭한다.

네이버 서치 어드바이저 검색로봇 수집 요청

 

 

 

11. robots.txt 설정이 잘 되었다면 다음과 같은 알럿 창이 뜰 것이다.

네이버 서치 어드바이저 검색로봇 수집 가능

 

 

 

 

검색로봇 설정이 중요한 이유

우리는 블로그의 트래픽을 늘리기 위해 여러 가지 방법을 쓰고 있다. 하지만 그중에서도 검색했을 때, 내 콘텐츠가 잘 노출되는 게 정말 중요한 요소이다. 그저 블로그나 웹 사이트를 개설하고 글을 쓴다고 검색 페이지에 노출되는 것이 아니다. 각 검색 엔진 로봇에게 내 페이지에 접근 권한을 주어야 크롤링이 가능하고, 검색 페이지에 노출이 되는 것이다. 네이버에 사이트 등록과 검색로봇 설정을 마쳤다면 rss와 사이트맵 제출도 설정하여야 최적화의 완성이라고 할 수 있다. 아래 페이지에서 네이버 최적화를 위한 작업을 마무리해보자.

 

 

 

[블로그 최적화] RSS란? 네이버 서치 어드바이저에 RSS 제출하는 법

네이버 서치 어드바이저 웹마스터 도구에 RSS를 제출하려면 우선 웹마스터 도구에 내 사이트 등록이 필요하다. 아직 하지 않았다면 아래 페이지를 참고하여 먼저 등록하고 오길 바란다. 참고로

auspicious01.tistory.com

 

 

[블로그 최적화] 사이트맵이란? 네이버 서치어드바이저에 사이트맵 제출하는 방법

네이버에 사이트 등록과 RSS 제출을 완료하였다면 이제 사이트맵을 제출할 단계이다. 방법은 아주 간단하니 아래 방법을 그대로 따라 하면 된다. 아직 네이버 사이트 등록과 RSS 제출을 하지 않았

auspicious01.tistory.com

 

반응형