php curl抓取网页指定内容(phpcurl抓取网页指定内容-学习视频教程-轻量级网络爬虫学习路线)

　　php curl抓取网页指定内容(phpcurl抓取网页指定内容-学习视频教程-轻量级网络爬虫学习路线)

　　phpcurl抓取网页指定内容-学习视频教程学习视频教程-轻量级网络爬虫学习路线-牛客网信息采集之网页json数据分析：html5数据之json获取

　　谈到抓取，很多人第一时间想到的就是requests等python中提供的接口方法。但我觉得，更加常用的就是利用webcookie。简单的说，就是浏览器会保存浏览器信息(用http协议保存)。webcookie其实很简单，可以用作浏览器的缓存。而且由于cookie只是一段dom树，也不存在扩展问题，对于大部分开发人员来说，这就是一段抓取历史。

　　从而用来实现网页抓取。基本原理，post()，get()方法，通过类似cookie的方式，将浏览器的历史信息保存下来，然后调用浏览器解析html文档的接口（由浏览器调用）或者有很多开源接口，如：threadlocal，webqueryset，websession等。总之post()，get()，document.documentelement.getelementsbytagname("script")[0].document()这三个方法，以及浏览器的设置，都可以获取浏览器历史数据。具体的方法如下：。

　　1、保存cookie,首先保存到https文件中：-html-cookie-targets/然后每次执行爬虫时，都调用浏览器的savecallback方法，对cookie数据进行保存。

　　2、获取cookie，但很多我们需要的历史数据太多，比如一个或多个page的链接的不同页面的header记录。如何获取呢？很多人一般都是通过post方法来获取。但是，很多时候我们只是需要第1页或第2页，至于其他页的数据，我们就没必要保存下来了。如果只有这样的数据，还好办。用http请求方法，我们只需要正常对着cookie的返回值读数据即可。如果需要获取后续所有数据，我们可以继续http请求。

　　3、对请求进行get和post方法，我们分别获取对应数据即可。基本思路如上所示。因为python协议所限，大部分功能都必须获取每一个单独的文件。而我们一般对网页的抓取，通常只抓取一个网页，比如获取page的第一页，及最后一页的最后一页中的第一页的所有页面数据。

　　那么，对于page指定的一个页面，

　　1、获取page指定的网页的全部数据页

　　2、只获取其中page中包含的最后一页（如果指定第一页中包含最后一页的话，

　　3、在所有页面中获取page页的最后一页内容第一种方法，我们在网页每个页面点击访问，查看抓取到的html内容即可获取前面页面页面的全部内容。缺点是获取数据比较慢，而且效率较低；最好带一个浏览器插件，将cookie里数据一次性导出为cookie.需要再次手动做些改动，比如修改爬取的cookie，保存cookie.第二种方法。