웹 크롤러란 무엇인가요?

웹 크롤러(웹 스파이더, 웹 로봇이라고도 하며 FOAF 커뮤니티에서는 웹 체이서라고도 함)는 특정 규칙에 따라 월드 와이드 웹 정보를 자동으로 캡처하는 크롤러 유형입니다. 스크립트. 덜 일반적으로 사용되는 다른 이름으로는 개미, 자동 인덱서, 에뮬레이터 또는 웜이 있습니다.

Ant(개미), 자동 인덱서 또는 (FOAF 소프트웨어 개념에서는) 웹 스커터(WEB

scutter)는 일종의 "인터넷 자동 검색" 프로그램입니다. 일종의 네트워크 로봇이다. 이는 인터넷 검색 엔진이나 기타 유사한 웹사이트에서 이러한 웹사이트의 콘텐츠와 검색 방법을 얻거나 업데이트하기 위해 널리 사용됩니다.

검색 엔진의 추가 처리(다운로드한 페이지 정렬 및 정렬)를 위해 액세스할 수 있는 모든 페이지의 콘텐츠를 자동으로 수집할 수 있으므로 사용자는 필요한 정보를 더 빨리 검색할 수 있습니다.

웹 크롤러는 시드라고 불리는 통일 자원 주소(URL) 목록으로 시작합니다. 웹 크롤러가 이러한 URL을 방문하면 페이지의 모든 하이퍼링크를 식별하고 이를 소위 "크롤링 영역"(크롤링

프론티어)이라고 하는 "방문 목록"에 기록합니다. ).

이 지역의 통합 리소스 주소는 일련의 정책에 따라 주기적으로 액세스됩니다. 크롤러가 실행 중에 웹사이트의 정보를 복사하고 보관하는 경우 이러한 아카이브는 일반적으로 볼 수 있도록 저장됩니다. 웹사이트에서 실시간으로 업데이트된 정보를 읽고 찾아본 후 웹사이트의 "스냅샷"으로 저장하세요. 크기가 크다는 것은 웹 크롤러가 주어진 시간에 제한된 수의 웹 페이지만 다운로드할 수 있다는 것을 의미하므로 다운로드에 우선순위를 두어야 합니다.

변경률이 높다는 것은 웹페이지가 업데이트되었거나 삭제되었을 수 있음을 의미합니다. 서버 측 소프트웨어에서 생성된 일부 URL(Uniform Resource Locator)도 웹 크롤러가 중복 콘텐츠 검색을 피하기 어렵게 만듭니다.