구글, 네이버, 야후 같은 검색서비스를 제공하는 포털에서 검색 대상 정보를 수집할때는 수집처리엔진을 통해서 수집이 허용된 웹사이트 페이지에 접근하여 데이터를 수집합니다. 수집을 허용하는지 여부는 해당사이트 별로 설정된 설정값을 참조하구요. 즉 홈페이지나 쇼핑몰, 블로그등 웹서비스 를 제작할때 검색 포털에서 해당 홈페이지가 검색되게 할지 여부를 설정할수가 있다는 뜻이 되죠. 구글 애드센스와 같이 광고배너제공 서비스에서도 검색서비스처럼 배너가 달리는 사이트의 내용을 주기적으로 수집하는데요. 어떤내용이 서비스되는지를 파악하고 가능한 내용과 부합되는 광고배너를 제공함으로 광고효과를 높이려는 이유에서입니다. 각 사이트를 돌아다니며 내용을 수집하는 수집처리엔진이라는 녀석을 로봇(크롤러)이라고 하구요. 간혹 설정의 ..