웹 크롤러의 개념은 무엇인가요?

이전에는 스파이더라고도 불렸던 웹 크롤러는 월드 와이드 웹(World Wide Web)을 자동으로 탐색하여 특정 규칙에 따라 정보를 얻는 로봇 프로그램(또는 스크립트)입니다. 한때 인터넷 검색 엔진에서 널리 사용되었습니다. 인터넷과 브라우저를 사용해 본 사람이라면 사용자가 읽을 수 있는 텍스트 정보 외에도 웹 페이지에 하이퍼링크도 포함되어 있다는 것을 알고 있을 것입니다. 웹 크롤러 시스템은 웹 페이지의 하이퍼링크 정보를 통해 네트워크의 다른 페이지를 지속적으로 획득합니다. 이 때문에 네트워크 데이터 수집 과정은 마치 네트워크 상에서 크롤러나 스파이더가 로밍하는 것과 같아서 웹 크롤러, 웹 스파이더라고도 불린다.