본문 바로가기
블로그 번아웃/블로그 고시

크롤러 : 호스팅 서버에 연결할 수 없음

by LifeFrom 2022. 10. 5.
728x90

3개의 콘텐츠에 크롤러가 접근하지 못한다는 메일을 받았다. 페이지 색인 생성 문제로 영향을 받는다는 것. 내용은 색인(내 페이지를 등록)이 생성되었으나 robots.txt에 의해 차단되었다고 나왔다. 

 

크롤러 서버연결


페이지 색인
크롤러 서버연결 문제


 

 

 

 

 

크롤러 호스팅 서버에 연결을 시키는 가장 직접적인 방법은 바로 URL 검사를 통해서 색인(내 페이지를 등록) 시켜버리는 방법이다. 애드센스의 크롤러가 일을 하다가 내 집을 방문 못했다고 하니 Google Search Console 구글 서치 콘솔의 URL 검사에서 문제가 된 3군데를 넣어보았다.

 

앞서 색인이 생성되었으나 차단되었다는 말과는 달리 URL에서는 구글에 등록되지 않음으로 나왔다. 하지만 구글에서 등록되지 않은 그 페이지를 검색하면 검색 제일 상단에 노출이 되어있는 내 글을 볼 수가 있다. 일단 문제를 해결은 해야겠다는 생각에 색인 생성 요청을 하였다. 

 

미루어 짐작하건데 해당 글 3개의 경우 글을 올린 지 얼마 안 된 글이었다. 크롤러가 집을 살핀 시간과 구글 서치 콘솔이 돌아다니면서 수집한 정보가 업데이트가 늦게 되면서 정보의 오류가 생긴 건 아닐까? 내 글을 구글에서 검색이 잘 되고 있으니 1~2일 지나면 정상으로 해결될 문제인 것으로 보인다. 

 

하지만 문제가 지속적으로 길어진다면 구글 서치 콘솔에 가서 아래와 같이 URL 재방문 등록을 하자.  시간이 지나니 등록이 되어있음으로 바뀌었다. robots.txt에 의해 차단됨 또한 구글 서치 콘솔 - 색인 - 페이지 부분에서 페이지 색인이 생성되지 않은 이유로 가면 유효성 검사를 할 수 있다. 

 

 


색인생성요청

 

상단노출
검색 최상단에 올라와 있는 "색인되지 않았다는" 글

 

색인요청

 

요청됨

 

색인-페이지


 

 

 

 

 

728x90

댓글