java爬虫抓取网页数据(爬虫（一）爬虫的介绍什么是爬虫.txt协议反爬虫反反)

　　java爬虫抓取网页数据(爬虫（一）爬虫的介绍什么是爬虫.txt协议反爬虫反反)

　　爬虫（一）攀虫的介绍什么是爬虫

　　爬虫是编写程序模拟浏览器上网，然后让它去上网抓取数据的过程。

　　哪些语言可以实现爬虫

　　1.php：可以实现爬虫。 PHP号称世界上最美的语言（当然是自称的，意思是王婆卖瓜），但是PHP在实现爬虫的支持多线程和多进程方面做得并不好。

　　2.java：可以实现爬虫。 Java可以很好的处理和实现爬虫，是唯一能跟上python的爬虫，是python的头号敌人。但是java爬虫代码比较臃肿，重构成本比较高。

　　3.c、c++：可以实现爬虫。但是用这种方法来实现爬虫纯粹是某些人（大佬）能力的体现，却不是一个明智、合理的选择。

　　4.python：可以实现爬虫。 Python实现和处理爬虫，语法简单，代码漂亮，支持的模块广泛，学习成本低，非常强大的框架（scrapy等），简直无法形容！没有但是！

　　爬虫分类

　　1.General crawler：General crawler是搜索引擎（百度、谷歌、雅虎等）“爬虫系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成互联网内容的镜像备份。简单来说，就是尽可能多；将互联网上的所有网页下载并放到本地服务器上形成备份点，对这些网页进行相关处理（提取关键词、去除广告），最终提供用户搜索界面。

　　2.Focus 爬虫：Focus 爬虫根据指定的要求爬取网络上的指定数据。例如：获取豆瓣上的电影名称和评论，而不是获取整个页面的所有数据值。

　　robots.txt 协议

　　如果自己的门户网站中的指定页面中的数据不想让爬虫程序爬取到的话，那么则可以通过编写一个robots.txt的协议文件来约束爬虫程序的数据爬取。robots协议的编写格式可以观察淘宝网的robots（访问www.taobao.com/robots.txt即可）。但是需要注意的是，该协议只是相当于口头的协议，并没有使用相关技术进行强制管制，所以该协议是防君子不防小人。但是我们在学习爬虫阶段编写的爬虫程序可以先忽略robots协议。

　　反爬虫反爬虫