爬虫抓取网页数据(爬虫抓取网页数据包的方法(一)(图))

　　爬虫抓取网页数据(爬虫抓取网页数据包的方法(一)(图))

　　爬虫抓取网页数据是大家在日常工作中最常用的抓取网页数据的方法，尤其是爬虫网站平台，像西祠胡同，主页收录量相当高，即便单个页面抓取量不大，但每个页面抓取页面节点的数量相对较多，对数据结构的要求就比较高，并且由于抓取数据结构均为sql数据库，数据量变化较快，容易出现页面抓取失败的情况。专业网站有专业的爬虫处理工具，例如乐网等，不如接下来我将介绍的方法方便快捷，适合在爬虫网站抓取数据时使用，基本在抓取数据较少或网站数据结构比较少的情况下，就足够满足我们的需求了。

　　通过抓取it开发者大本营网站的抓取数据包到html中，可以非常轻松的获取搜索结果中数据包含的列表url，如下：/，如上图所示，我抓取的结果是包含了61条数据内容，分别为百度图片、昵图网、吉布斯。我们通过google浏览器页面翻译可以看到structlib：origintitletranslator-/#/mweb-express-origin-title;itemid=61translator_text_id=or-54f57c3414eeb8fa316af417d70408348d13b4f686e880613440583d2f5116f6612aa3daff22;ax=1&ax_save=1&ax_start=2&ax_end=1&ax_chunk_name=foo.a&ax_index=0(jpg)这个就是我们要抓取的url，而这个就是我们要获取数据的数据包。

　　因为通过爬虫爬取网站获取的数据包已经在html文件中定义好了，我们可以直接使用，如下图：由于html是有标签结构的，我们将html文件进行分析一下，发现其定义了几个标签，其中最大的是content标签，其次是button标签，最小的是select标签。同时url结构也是按照标签级别划分了的，可以根据页面的规格，对url进行重命名，例如：sr1首页，f2搜索结果页，av1生活等。

　　这样我们就能快速获取所需要的html文件，并且不破坏数据包定义的标签结构。接下来，我们直接获取包含59条数据内容的数据包，打开抓取数据包，如下图：在这个数据包中，仅含了一个url，按照我们前面分析的获取方法，我们直接使用google浏览器翻译的url：，如下图：已经可以准确的获取数据包内的标签定义内容，用urlpattern可以直接进行构造，如下图：然后我们用urlpattern编写sql语句，如下图：编写完成之后，我们直接浏览器抓取数据包的内容，如下图：我们能看到抓取到一个由58条数据组成的数据包。

　　只不过数据包是这个图片包所以我们可以获取图片包内数据的url,再利用sql查询语句进行读取数据包即可：这样就直接能进行数。