php抓取网页数据有许多种方法，不包括其他领域

　　php抓取网页数据有许多种方法，不包括其他领域

　　php抓取网页数据有许多种方法，结合自己的试用情况一些方法，以及这几天其他朋友的方法，抽空总结下过去七八年我找到的php抓取网页大概思路。写在前面：1，这些方法都是量力而行不保证效率。2，这些方法对于新手，新项目来说收效甚微，基本属于浪费时间。3，没有操作基础和架构基础，别瞎折腾。4，本文只针对php四大模块（mongodb存储、redis持久化、django框架、jenkins版本），不包括其他领域。

　　一、redis动态创建数据库大家应该对redis的基本操作不陌生，当我们读取或者写入一条数据时候，如果没有命令api进行连接，redis就会根据key-value记录一个记录列表。比如我们要查询列表中的第一条数据，我们可以设置一个key，再设置一个value就行了。比如：selectname,count(age)from[[1:]]whereage>2000可以想象下，如果key里面既没有数据，也没有value，我们的网站访问该网页，还要从列表记录里面筛选特定的数据来到对应的key来进行响应，这样下来浪费的时间和网络带宽的消耗是相当可观的。

　　如果name和count(age)都是数字，其实还可以用其他的方法来抓取这个数据，比如加上base64的解码方法，这样效率相对比较高。redis最经典的动态创建数据库的方法就是创建指定的key然后存入集合。比如下面这样：selectname,count(age)from[[1:]]whereage>2000这样创建一个key之后，就会在集合中查找到对应的数据，然后set过去。

　　但是，这个方法带来的问题是只能获取某个数据，而且数据可能不止一个。对于新手，可能两个数据，一个是基本数据，一个是结构化数据，这两个数据对应的key却不一样，要是只会把抓取来的数据存一个对应key的数据库，可能会问题多多。

　　二、flask操作django项目里通常有一个models.py的模块，这个模块里会有比较多的类，它们之间通过关联来互相配合，将我们一个java项目变成一个工程中能多种方法同时使用。如果你会基本的python操作数据库，可以直接用django操作，如果python操作不过来，可以用flask把java项目变成一个django项目。

　　如下图，一个普通的flask项目，可以先用django操作，再用flask操作，最后用django的models来操作。实践一个完整的sqlalchemy项目如下图：用flask创建的项目也有挺多，但是大同小异，包括redis也可以通过类似flask操作django项目，可以参考同一篇文章flask整合sqlalchemy实践笔记。

　　三、easyquerypython是一门面向对象的编程语言，面向对象可以有很多方式，