干货教程:简单的爬虫工具(一)_抓取网页数据工具

　　干货教程:简单的爬虫工具(一)_抓取网页数据工具

　　抓取网页数据工具本节介绍googleproductinfo简单的爬虫工具，写出完美的爬虫是做爬虫最基本的前提，在udacity课程中有详细的介绍，很多小伙伴会问那我是小白，能不能用代码实现，我想说这个完全可以，任何的能力都不是一朝一夕练出来的，即使你的数据量比较小，只要掌握规则实现，自己diy也是完全没有问题的。

　　没有数据？靠爬？可以啊，把链接发给我或者用浏览器搜一下就可以把数据获取下来，发给我的是json，不用管什么格式，json就是javascript，没有被转义了。把数据分类？那也很简单，可以用百度识图把知识点分类，用udacity课程说的选择关键词来分类，或者用正则表达式搜文章标题可以找到pdf文件下载地址；到网站上找到自己需要爬的宝贝，可以进一步分类，通过udacity课程得知我们需要哪些数据，然后在google搜索获取；谷歌的图片搜索会以图片所在位置的链接作为关键词来搜索，我们可以爬取图片的源地址，最后利用xpath来抓取图片源地址，实现效果如下：;a=mon-active&b=active&c=show&d=true;a=mon-active&d=true;url=(";a=active&c=show&d=true");json数据格式表示json是一种十分简洁的编程表示格式，常用于数据之间的转换，结构简单，符合人们习惯，被广泛应用于日常生活中的各种场景，这里提到的python爬虫的主要爬取语言是python，其实想写一个爬虫这里我推荐使用java爬虫，比如我会在网站上抓取java的json字符串数据，我只要先把json字符串导入，因为我需要分析下json字符串的结构，得知对应页面需要抓取什么数据，最后把数据发送给爬虫进行爬取，爬虫的内容是我们发过去的json字符串。

　　爬虫我在写的时候，有过收集大量数据的经验，前面一段时间，很多规则后面代码写得要不就是爬不过来，有一些是需要有付出回报的，比如广告是需要收费的，正在研究vvv程序，不懂的可以百度，我只是把一些需要注意的地方写在了这里，小白的我有时间才会重复写一遍网站，因为这时候，你比你的任务指标要多很多，有时候会做很多你根本不需要做的事情，一味的去写代码的话会得不偿失，就好比小学课程里头的语文写作文一样，每篇作文你也需要在文章里面写，还得表达你的思想，这又是另外一回事了。本节介绍的大致内容，让我们慢慢来，后面还会继续在别的网站上爬取数据的。