파이썬 웹 분석 라이브러리: 요청으로 웹 페이지 크롤링

파이썬에는 웹 페이지를 구문 분석할 수 있는 많은 라이브러리가 있습니다 (예: BeautifulSoup 및 lxml). 인터넷에서 파충류를 하는 문장 들은 보통 BeautifulSoup 라이브러리를 소개한다. 나는 보통 이 도서관을 사용한다. 요즘은 Xpath 를 많이 써서 BeautifulSoup 을 사용하는 것에 익숙하지 않다. 위대한 신 Reitz 가 Requests-HTML 이라는 라이브러리를 만들었다는 것을 오래전부터 알고 있었고, 줄곧 관심이 없었다. 이번에는 좋지 않은 기회이다.

Pipi install Requests-HTML 을 사용하여 다른 Reitz 라이브러리처럼 쉽고 간편하게 설치할 수 있습니다.

이 라이브러리는 requests 라이브러리에서 구현되며 R 의 결과는 Response 객체 아래의 하위 클래스이며 여러 html 속성이 있습니다. 그래서이 R 은 요청 라이브러리의 응답 대상이 할 수있는 모든 것을 할 수 있습니다. 웹 페이지를 구문 분석해야 하는 경우 응답 객체의 html 속성을 직접 가져옵니다.

나는 반드시 신 리즈를 숭배해야 한다. 그는 조립을 아주 잘한다. 실제로 HTMLSession 은 요청의 핵심 클래스를 상속합니다. 세션을 수행한 다음 요청의 요청 메소드를 다시 작성합니다. 세션 클래스는 자체 HTMLResponse 객체 중 하나를 반환합니다. 이 클래스는 요청에서 상속됩니다. 응답하지만 _from_response 메소드가 추가되어 인스턴스를 구성합니다.

그런 다음 HTMLResponse 에서 속성 메서드 html 을 정의합니다. html 속성을 통해 액세스할 수 있습니다. 실현은 PyQuery 를 조립하는 것이다. 대부분의 핵심 구문 분석 클래스도 PyQuery 와 lxml 을 사용하여 구문 분석하며, 이름을 단순화하여 매우 사랑스럽다.

다음 두 가지 방법으로 요소를 찾을 수 있습니다.

방법명은 간단하고 파이썬의 우아한 스타일과 일치합니다. 여기서 우리는 이 두 가지 방법을 간단히 설명할 수 있습니다.

요소를 찾은 후 요소의 내용 및 속성 관련 데이터와 텍스트를 가져와야 합니다.

요소의 속성을 가져옵니다.

패턴을 통해 해당 컨텐츠를 일치시킬 수도 있습니다.

이 기능은 닭갈비처럼 보이는데, 최적화를 더 연구할 수 있고, 아마도 github 에 제출할 수 있을 것이다.

몇 가지 기본적인 조작 외에도 이 라이브러리는 인간적인 조작도 제공한다. 예를 들어, 한 번의 클릭으로 웹 페이지의 모든 하이퍼링크에 액세스하는 것은 전체 파충류에게 복음이 되어야 하며 URL 관리가 더 편리합니다.

콘텐츠 페이지는 일반적으로 페이지 매김되어 한 번에 너무 많이 잡을 수 없습니다. 이 라이브러리는 페이징 정보를 얻을 수 있습니다.

결과는 다음과 같습니다.

반복자를 통해 지능형 검색 페이지 지정을 구현합니다. 이 반복자에서는 _next 라는 메서드를 사용하고 소스 코드 섹션을 게시합니다.

A 태그에 지정된 텍스트가 포함되어 있는지 찾아 다음 페이지가 있는지 확인합니다. 일반적으로 다음 페이지는 다음 페이지에 의해 안내되거나 더 많이 로드됩니다. 그는 이 플래그를 사용하여 판단합니다. 기본적으로 전역 리스트는 ['다음',' 더',' 이전'] 입니다. 개인적으로이 방법은 매우 유연하지 않고 확장하기가 어렵다고 생각합니다. 관심이 있으시면 github 에 코드 최적화를 제출할 수 있습니다.

Js 의 비동기 로드를 고려해 볼 때, 이 라이브러리는 js 런타임을 지원합니다. 공식 설명은 다음과 같습니다.

다음 메서드를 직접 호출하는 것은 매우 간단합니다.

처음 사용할 때는 Chromium 을 다운로드하지만, 중국에서는, 알다시피, 스스로 다운로드할 수 있는 방법을 찾고, 스스로 다운로드하기를 기다리지 마라. (존 F. 케네디, 공부명언) Render 함수는 js 스크립트를 사용하여 페이지를 조작할 수 있으며, 스크롤 작업에는 별도의 매개 변수가 있습니다. 이는 업로딩 등 새 페이지에 매우 친숙합니다.