phpcurl抓取网页数据看你的爬虫核心代码是写python还是php？

　　phpcurl抓取网页数据看你的爬虫核心代码是写python还是php？

　　phpcurl抓取网页数据

　　看你的爬虫核心代码是写python还是php？我个人爬虫用curl写的，github里可以找到源码。如果想学的话，推荐一个很好的文章翻译平台-语言学习-中国最大的it技术社区不要纠结这些技术性的东西。如果只是要抓网页那就写爬虫，设定好范围，爬哪些平台，然后再设定设定动机、要求啥的，注意锻炼业务能力，多设问，多思考，提高代码重构能力。网页抓取不是特别困难，用js+css也可以，就是多了点。

　　首先，requests库是基于requests模块的http请求库，还有httpcookie之类的，如果只是抓取网页的话很简单，基本http协议抓取就可以。但是要搞懂通用语言python是个太大的话题，python可以爬取国内所有网站，但每个网站涉及的不一样，爬取各种网站后也许会发现某些网站对js加密严重，之类的，当你下定决心爬虫之后，你会发现模块啊、框架啊之类的太多，过多概念使得你无从下手，当你发现爬取又遇到问题时，又开始迷茫了。

　　所以，建议先确定基础的爬虫框架，对照之，分析每个模块的使用场景，针对性的学习。python网页抓取的常用框架是requests、scrapy。有的框架的具体使用文档，例如web_base_requests，模块介绍的不错。我用过。首先看下介绍：各种框架，注意一点，要安装。requests：最基础的httpheader接收和处理方式，详细可以看书：http请求的处理(豆瓣)requests最基础的异步异步代理使用。

　　scrapy：用scrapy搭建爬虫。scrapy对xpath文档爬取最新开源文档，当然有人会推荐爬虫框架crawlform，但是我没有找到太好的模块。爬虫框架lxml，这个版本后忘记，只找到过代码：代码：fromlxmlimportetreeclassbaseurlspider(scrapy.request):name='baseurlspider'allowed_domains=['jiafengchen']urlpatterns=[';a=ad&prefix=peizhihu']middlewares=[scrapy.cookiejar,scrapy.session]referer='/'class_tag='scrapy-form'meta={'user-agent':'mozilla/5.0(windowsnt6.1;win64;x64)applewebkit/537.36(khtml,likegecko)chrome/74.0.3423.136safari/537.36'}defparse(self,response):data=response.xpath('//html/div[1]/div/div[2]/div/div[2]/div/div[2]/div/div[2]/div[2]/div[2]/div/div[2]/div[1]/div/di。