크롤러 오류 줄이는 구글 서치 콘솔 색인 생성 요청 하기

내 글이 구글에 노출되기 위해서는 크롤링을 거져 색인이 생성되는 작업을 거쳐야 하는데요. 대부분 봇이 자동으로 들어와서 읽어가기도 하지만 직접 색인요청을 해주어야 하는 경우도 발생할 수 있습니다. 관련된 정보들을 담아봤습니다. 

 

 

1. 구글의 크롤링과 색인생성이란?? 

 

크롤링은 웹사이트, 하이퍼링크, 데이터, 정보자원을 자동화된 방법으로 수입, 분류, 저장하는 것을 의미합니다. 크롤러(크콜링하는 소프트웨어)는 웹사이트 주소에 접근하여 URL을 찾아내고, 또 다른 하이퍼링크를 찾아 분류하고 저장하는 작업을 반복하여 여러 웹페이지에 어떤 데이터가 어디에 있는지 색인(index)를 만들어 DB에 저장하는 역할을 합니다. 

 

구글의 크롤링은 검색엔진인 구글의 봇(Bot)이 새로운 웹페이지를 찾아 종합하고, 그 찾은 결과들을 찾아 색인을 추가하는등의 작업을 반복 수행합니다. 만약 우리가 티스토리에 글을 쓴다면 구글의 크롤러 봇은 우리의 티스토리에 들려 해당 URL을 확인하고 색인을 추가하는 작업을 통해서 구글에서 검색될 수 있도록 하는데요. 이를 크롤링 및 색인생성이라고 보시면 됩니다. 

 

구글 크롤링 및 색인생성은 자동으로 사이트맵을 등록하고 구글 서치콘솔에서 진행이 되지만 간혹 알수없는 이유로 봇이 제대로 인식을 못하는 경우들도 있으므로 수동으로 직접 등록하여 색인생성 요청을 해야할 수 있습니다. 

 

구글 크롤링 및 색인생성을 수동으로 요청을 하는 이유는 결론적으로 말씀드리면 구글의 검색결과에 해당 URL이 노출될 수 있도록 작업을 하는 것이라고 보시면 되는데요.

 

이것을 하는 이유는 여러가지가 있지만 그중에 가장 중요한 것이 만약 구글 검색에서 해당 URL이 누락이 되는 경우에 색인을 생성 요청을 통해서 검색이 되도록 할 수 있으며, 좀 더 빠르게 구글에 생성요청을 통해서 구글의 봇이 방문하기를 원하는 경우에 수동으로 색인생성 요청을 할 수 있습니다. 

 

 

두번째로는 최근 위의 사진과 같은 티스토리에서 자주 발생하는 애드센스 크롤러 오류를 줄일 수 있기 때문에 많이 활용하기도 합니다. 특히 최근글이 자주 이러한 애드센스 광고 크롤러 오류가 발생하는 경우에는 수동색인생성을 통해서 줄일 수 있다고 하는데요. 실제로 줄어드는 경향은 있지만 완벽하게 해결책은 아닌것으로 보입니다. 

 

 

2. 구글 검색결과 반영을 위한 수동 색인생성 요청하기

내가 티스토리등에 쓴 글이 구글 검색에 반영되기 위해서는 수동 색인생성을 요청하는 방법으로 요청을 할 수 있는데요. 아래와 같이 간단하게 URL 입력과 색인생성요청에 대한 부분을 눌러주시기만 하면됩니다. 아주 간단하지만 매번 하기에는 약간 귀찮은 경우도 있는데요. 그래도 간혹 알수 없는 이유로 검색결과과 오랜기간 반영이 안되는 경우도 있으므로 그런 경우에는 꾸준히 해주셔야 될 수 있습니다. 

 

 

우선 서치콘솔 화면에 접속하면 다음과 같은 화면을 보실 수 있습니다. 만약 최근에 글을 쓰신것이 있거나 또는 구글 검색에 누락된 URL이 있다면 화살표 위에 있는 칸에 URL 을 입력하여 주시고 검색을 해보시면 해당 데이터 URL이 어떤 상태인지를 확인해보실 수 있습니다. 

 

 

구글 색인에서 데이터를 가져오는 중이라고 하여 잠깐의 기다림의 시간이 끝나면 아래와 같은 화면이 등장하는데요. 아래처럼 "URL이 Google에 등록되어 있지 않음" 이라고 되어 있는 경우에는 구글 검색에서 해당 URL이 노출이 제대로 안되고 있는 것이라고 보시면 됩니다. 

 

 

해당 페이지는 막 글을 처음 작성하여 완료를 한 상태의 URL인데요. 다음과 같이 사이트맵에도 해당사항이 없다고 나와있는 것을 보실 수 있습니다. 최근 크롤링된 여부 및 크롤릴관련 정보들도 아래와 같이 있는데요. 첫 글의 경우에는 당연히 아직 크롤링 봇이 방문하지 않은 것이므로 해당사항 없음이라고 나와있는 것이고, 만약 첫 글이 아니라 포스팅이 발행된지 꽤 지났음에도 해당내용과 같은 문제들이 보인다면 화살표  "색인 생성 요청 " 을 눌러주셔서 색인생성테스트 및 요청을 진행하여야 합니다. 

 

 

 

색인생성요청을 누르시면 다음과 같이 "실제 URL의 색인을 생성할 수 있는지 테스트 중" 이라는 메시지가 뜨는데요. 구글에서 해당 URL을 테스트하는 과정을 기다리셔야 합니다. 약 1~2분정도 걸릴 수 있으며 중간에 화면 다른 것 누르시면 취소되는 경우가 있습니다. 조금 기다리시면 아래와 같이 색인생성이 요청된 것을 보실 수 있습니다. 

 

 

 

색인생성이 요청된 화면입니다. 다음과 같은 화면에서 보시면 URL이 우선순위 크롤링 대기열에 추가가 되어 있으며 구글의 봇이 해당페이지를 방문하도록 예약이 된 상태라고 보시면 됩니다. 페이지를 여러번 제출해도 대기열 위치나 우선순위 변경이 안되기 때문에 한번만 하시면 되고 기다리셔야 합니다. 

 

몰론 만약의 경우 제가 겪었던 경험을 말씀드리면 한번 해서 안되는 경우가 있었는데요. 한달 정도까지도 기다렸는데 안되서 몇번 더 계속 진행을 해주니까 되었던 경험이 있습니다. 만약 잘 써진 글인데 구글 검색에 노출이 안되면 아깝기도 하고 꼭 체크하고 하셔서 검색등록을 하시는게 좋겠죠. 몰론 순위가 높지 않을수는 있지만 누락보다는 후순위라도 노출이 되는게 좋으니까요. 

 

 

 

위 사진과 같이 "URL이 Google에 등록되어 있음" 이라고 나온다면 색인생성이 완료된 것이라고 볼 수 있습니다. 크롤링된 페이지가 정상적으로 구글에서 색인생성을 한 것이라고 보시면 됩니다. 

 

조금 귀찮을 수 있는 작업이지만 그래도 색인생성이 되고 구글에 노출될 확률을 높이기 위해서는 체크하셔서 구글 서치콘솔에 들어가서 색인생성 요청을 해주시는게 좋은 경우가 많습니다. 다만 매번 할 필요는 없고 애드센스 광고 크롤러 오류가 정말 자주 생기는 경우, 색인이 제대로 생성되지 않는 경우등등에 해주시면 됩니다. 

 

2022.03.21 - [온라인수익만들기] - 애드센스 거절 게시자 콘텐츠가 없는 화면에 Google 게재 광고 해결 후기

애드센스 거절 게시자 콘텐츠가 없는 화면에 Google 게재 광고 해결 후기