구글, 네이버, 야후 같은 검색서비스를 제공하는 포털에서 검색 대상 정보를 수집할때는 수집처리엔진을 통해서 수집이 허용된 웹사이트 페이지에 접근하여 데이터를 수집합니다. 수집을 허용하는지 여부는 해당사이트 별로 설정된 설정값을 참조하구요.
즉 홈페이지나 쇼핑몰, 블로그등 웹서비스 를 제작할때 검색 포털에서 해당 홈페이지가 검색되게 할지 여부를 설정할수가 있다는 뜻이 되죠.
구글 애드센스와 같이 광고배너제공 서비스에서도 검색서비스처럼 배너가 달리는 사이트의 내용을 주기적으로 수집하는데요.
어떤내용이 서비스되는지를 파악하고 가능한 내용과 부합되는 광고배너를 제공함으로 광고효과를 높이려는 이유에서입니다.
각 사이트를 돌아다니며 내용을 수집하는 수집처리엔진이라는 녀석을 로봇(크롤러)이라고 하구요.
간혹 설정의 변경이나 누락으로 인해 홈페이지의 데이터를 로봇이 수집하지 못하도록 거부되는 경우가 발생을 할 수 있습니다.
아래의 설정확인을 통해 홈페이지의 검색수집이 로봇에 의해서 잘 수집되도록 설정되어있는지 확인이 가능합니다.
아래링크를 클릭하면 구글 애드센스에서 나오는 크롤링 오류관련 설명을 보여줍니다.
Robots.txt 라는 색인 관련 설정파일에 대해서 설명해줍니다.
애드센스 크롤링 오류 관련
https://www.google.com/adsense/app#crawlReports
robots.txt 관련 설명 페이지 링크
meta tag 를 활용해서 로봇이 검색을 할수있도록 설정해주는 방법도 있습니다
<meta name="robot" content="ALL">
이런식으로요.. 자세한 설명은 아래 링크로
문제점 하나 .. 티스토리나 다음 네이버 블로그에서는 robots.txt 를 임의로 수정할 수 없습니다. ㅡㅡ;
그나마 티스토리에서는 스킨 페이지 수정이 가능해서 meta 태그 삽입까지는 설정할 수 있구요..