기금넷 공식사이트 - 펀드 투자 - 파이썬, 노드. js 어느 것이 파충류를 쓰는 데 더 적합합니까

파이썬, 노드. js 어느 것이 파충류를 쓰는 데 더 적합합니까

간단한 방향 크롤링:

Python+urlib2+RegExp+bs4

또는

Node.js+co, 모든 DOM 프레임 또는 html parss < P > 나에게 위의 두 가지 선택은 거의 동등하지만, 주로 JS 가 비교적 익숙하기 때문에, 지금은 노드 플랫폼을 선택하는 것이 더 많을 것이다. < P > 위 규모의 전체 역 등반:

Python+Scrapy

위 두 가지 방안 중 DIY 의 spider 가 샤오미 가소총이라면, Scrapy 는 단순히 중공가농포일 뿐, 쓸 수 없을 만큼 유용하지 않다. 맞춤형 등반 규칙, http 오류 처리 또한 스크래치는 Twisted 를 기반으로 구현되기 때문에 효율성이 매우 뛰어납니다. 상대적으로 유일한 단점은 설치가 번거롭고 의존성이 많다는 것입니다. 저는 새로운 OSX 라고 할 수 있습니다. pip install scrapy

를 직접 PIP Install Scrapy < P > 에 도입할 수 없습니다. 또한 spider 에 XPath 를 도입하면