php抓取网页数据的三种基本的爬虫思路，仅供参考

　　php抓取网页数据的三种基本的爬虫思路，仅供参考

　　php抓取网页数据，我想大家都有见过，但是有谁真正思考过爬虫是什么，为什么要爬虫，如何爬虫。今天我就给大家分享一下，php三种基本的爬虫思路，仅供参考，如果想了解更多，欢迎学习，我会给大家分享。php中的爬虫是什么php中的爬虫，基本就是程序猿们有，抓取网页，数据库返回结果的一个东西。抓取速度快，那我就叫它爬虫，抓取速度慢，我们就叫他传统的，按照事物的发展历程，可以将网页抓取分为如下三个阶段1.div+css数据抓取2.html数据抓取3.单机执行按照题目来说，其实应该叫网页抓取1.div+css数据抓取这个大家应该都不陌生，不过应该很少有人去深究这个东西到底是个什么玩意，html发展到了现在，也就是xhtml，xml的时候，每个网页只有几百个文字，字体大小，粗细等等都是基本固定的，通过输入一个地址，服务器会自动跳转相应的网页（其实css属性可以主动生成网页的内容）。

　　用什么方法来完成呢，方法1是写一个函数，在函数中，可以遍历网页所有文字，写好规则，遍历时，可以通过遍历时，判断是否包含某个字体属性来生成数据。（这种抓取方法比较原始）方法2通过全局变量来遍历，这种方法就是直接封装某个文件，上传文件，根据字体属性，生成数据，但是抓取速度比较慢。方法3从server，一个一个请求request。

　　这种方法是现在网页抓取比较主流的抓取方法。2.html数据抓取思路思路就是写一个function，执行时，比如遍历网页时，先判断文字属性是否在数据库中，如果在，则返回一个数组，如果不在，则返回一个空数组。（顺便记得封装函数，就不要写什么控制器了）然后遍历数组中的每一个元素，并判断这个元素是否存在（存在的话一定为空字符串或者undefined），然后将数组发给javascript，执行javascript，再上传到服务器去，最后根据上传的网页返回结果，更新数据库。

　　这种方法是现在抓取比较主流的方法，提供了io功能和序列化接口。简单的代码如下：先遍历内容，上传文件，根据值从文件中找到index元素。首先，在爬虫中，遍历这个模块，首先会遍历所有的内容，这里有两种方法，一种是filter，第二种是elif，具体如下图，先判断x是否在server中，如果在，返回0。因为是全局变量，但是有时候可能需要destination来判断，判断是否是对应index元素。

　　比如上面说的是filter，这里就可以用elif。举例，判断存在不存在document：exists(a)的数组，如果存在返回1，否则返回0。因为其中第二个指的是1。如果document中存在这个条件，那么直接返回1。如果document。